Hỏi cách train nhiều vật thể trong nhiều lần (yolov3) trên googgle colab

yolo

#1

Hiện tại, em nhận được 1 bài tập là nhận diện các vật thể trong siêu thị. Em đang có 23 vật thể, em dự định chia thành nhiều lần train, mỗi lần train 3 vật. Lần thứ nhất, em train 3 vật thành công. Lần thứ 2, em lấy file weight của lần thứ nhất để train tiếp tục với 3 vật mới, lần này vẫn thành công. Nhưng đến lần thứ 3 khi em lấy weight của lần thứ 2 để train thêm thì lại bị lỗi nan. Em đang train trên google colab, nó sau 10 tiếng là nó kill sạch toàn bộ session ạ. Mọi người giúp em với. Em đã làm đi làm lại 1 tháng nay rồi ạ.

Việc train em dựa theo hướng dẫn này ạ

Đây là file của mỗi lần train ạ ! https://drive.google.com/file/d/1RVu0uxEnBWJK0UZ2jHjvsY6pSk9aMtSQ/view?fbclid=IwAR0rpps-2r0EgskB6A5m8XHCC5VDxoiK8OJ9Z8QbwsmHCx7zNzR_sFoSEs4


#2

Bạn có thể giảm lr xuống xem? Mà sao bạn không train 23 class một lần luôn.


#3

Tại em đọc tài liệu bên yolov3 thì nó nói 1 vật thể là 2k vòng mà trên colab em thấy 1 ngày chạy max có 6k vòng thôi ạ. Em chân ướt chân ráo mới vô nên không biết sâu về cái này ạ


#4

Với lại em nghĩ nếu sau này siêu thị có thêm vật phẩm mới thì lúc đó sẽ như thế nào ?


#5

Bạn lưu checkpoint lại hôm sau train tiếp.

Vấn đề này khá khoai. Cách tốt nhất có lẽ vẫn phải train tiếp, tùy vào yêu cầu thực tế.