Tìm phương pháp so sánh 2 vector khuôn mặt bằng deep learning

deep-learning
computer-vision
machine-learning

#1

Xin chào mọi người, em đang thực hiện đồ án liên quan đến so sánh 2 khuôn mặt xem giống nhau bao nhiều %. Đầu vào chỉ có 2 ảnh khuôn mặt bất kì

Hiện tại em đang thực hiện theo các bước:

  • Align và crop khuôn mặt về cùng 1 kích thước.
  • Sau đó sử dụng một số source có sẵn như facenet, insightface để embedding khuôn mặt và thu được vector khuôn mặt.

Phần em đang thắc mắc là hầu như các phương pháp em search được bước cuối đều dùng khoảng cách Euclidean hoặc tính cosine của của 2 vector để tính toán ra similarity percent. Phần lớn trường hợp 2 ảnh của cùng một người nhưng chụp với góc khác nhau thì tính ra similarity percent lại bé hơn 2 người khác nhau nhưng chụp cùng 1 góc. Mọi người có góp ý cho em ở phần này để tính toán ra kết quả tốt hơn không? hoặc gợi ý cho em một mô hình deep learning có thể so sánh 2 vector khuôn mặt thay vì chỉ dùng các công thức tính khoảng cách và tính góc kia không ạ?


#2

Theo mình thì việc tính khoảng cách giữa các embedding là hợp lý rồi. Còn việc cosine similarity giữa các góc nghiêng khác nhau thấp thì có lẽ do dataset thôi. Cái này phải chấp nhận thôi, hoặc là phải fine-tune lại mô hình với dataset mặt nghiêng.


#3

Mình là người mới nhập môn thôi. Bạn có thể hướng dẫn hoặc cho đường link hướng dẫn mình có thể fine-ture mô hình được không?


#4

#5

Cảm ơn bạn nhiều lắm <3


#6

Hoặc là bạn tìm đọc phần transfer learning trong quyển này cho dễ hiểu hơn. http://faculty.neu.edu.cn/yury/AAI/Textbook/Deep%20Learning%20with%20Python.pdf