Frameworks / Tools sử dụng để nén mạng yolov3 cho Embedded devices, Edge devices.


#1

Chào mọi người ạ, cho e hỏi có framework nào được sử dụng thuận lợi và phổ biến cho việc nén mạng yolov3 để tăng tốc độ inference cho các thiết bị Edge decives không ạ?


#2

Tuy thuoc vao thiet bi ma ban dung. Moi con chip se co cach nen khac nhau. Vi du chip Nvidia thi thuong dung TensorRT, rockchip thi dung RKNN roi NCS2 …


#3

Vâng, nếu như bây giờ e có 2 hướng để tăng tốc inference cho model yolov3 bao gồm: edge devices và trên PC thì tool cụ thể cho từng hướng người ta hay sử dụng là gì vậy ạ? Trong quá trình survey thì e chưa chọn đc tool hay framework tối ưu cho từng hướng ạ.

  1. Ví dụ edge device, nếu sử dụng Jetson thì e thấy có TensorRT hay được dùng ạ.
  2. Nén trên PC, e như e tìm hiểu thì thấy có Tensorflow lite có thể tăng tốc và ứng dụng đc cho nhiều thiết bị ( kể cả PC, embedded devices,…). Tuy nhiên, quá trình convert model thì cụ thể như nào vậy ạ?