[Hỏi/Đáp] Về vấn đề chạy real-time image classification

classification
deep-learning

#1

Xin chào mọi người,

Hiện tại e đang làm 1 nghiên cứu về việc sử dụng image classification để hỗ trợ chuyển động cho robot. Em có sử dụng image classification bằng việc transfer learning mô hình VGG16 trên dataset do em tự làm. Khi em triển khai mô hình này chạy với webcam của máy tính thì tốc độ khung hình hiện lên trên màn hình là khoảng 3 frame 1 giây. Tốc độ này vẫn còn là chậm nếu muốn ứng dụng trên robot nên em muốn hỏi là có những cách nào để tăng FPS khi chạy real time không ạ? Em sử dụng keras để train mô hình rồi save lại dưới dạng file json. Sau đó sử dụng Python để code chương trình chạy real time, dùng library của OpenCV để thu ảnh và phát trên màn hình. Em xin cảm ơn!


#2

VGG16 khá nặng, bạn có thể dùng những mạng khác nhẹ hơn như mobilenet, pelee. Nếu vẫn còn chậm thì bạn giảm input size. Nếu vẫn muốn nhanh hơn thì bạn dùng C++. OpenCv hỗ trợ tốt trên C++


#3

Van de nay la challenge cua DL khi trien khai tren edge devices. Co mot vai cach sau:

  1. Chuyen sang dung feature extractor nhe hon nhu MobileNet
  2. Model quantization
  3. Model prunning

Con trien khai the nao, ban phai tu tim hieu thoi