Gợi ý người dùng ảnh ưng ý nhất

computer-vision

#1

Chào các bạn, mình có một ý tưởng như sau:

Mỗi một người dùng có 1 tập các ảnh (mặt trẻ em, khoảng 5 ảnh), mục đích là tìm ra ảnh đẹp.

Bài toán 1: người dùng lựa chọn 1 ảnh ưng ý nhất trong đấy. Bài toán là nếu có thêm các ảnh mới thì có thể đưa ra gợi ý ảnh nào “gần nhất” ( ví dụ khuôn mặt được gán nhãn có trạng thái cười hình thái khuôn miêng, mắt mở to nhỏ) với ảnh đã được gán nhãn ưng ý (sau một ngày chụp ảnh chẳng hạn).

Bài toán 2: người dùng đánh giá từng ảnh (rating score), mỗi khi có ảnh mới vào hệ thống thì tự động rating ảnh đó dựa trên model xây dựng trên dữ liệu đã đánh giá của người dùng

Câu hỏi:

  1. Liệu có thể (có nên) xây dựng model cho từng người dùng hay không?
  2. Xây dựng thuật toán (nhận dạng khuôn mặt) khá là tốn thời gian, nên nếu bạn nào biết service nào có sẵn thì giới thiệu cho mình với.

Nghiên cứu liên quan:


#2

Yêu cầu chưa rõ ràng lắm, vì ảnh thì muôn vàn loại ảnh: phong cảnh, sự vật, động vật, con người … và cái khái niệm “gần nhất” ở đây cũng hơi mơ hồ.


#3

Mình xin bổ sung thêm là thể loại ảnh trẻ em (ban đầu thì chỉ nhận dạng trạng thái khuôn mặt thôi sau này chắc thêm tư thế cử chỉ …), tìm ảnh “gần nhất” ý mình là ví dụ khuôn mặt được gán nhãn có trạng thái cười (hình thái khuôn miêng) , mắt mở (to nhỏ) thì dựa vào nhưng đặc trưng đấy để tìm ảnh có trạng thái tương tự.


#4

Theo ý nghĩ của mình thì

  • thứ cần nhất phải tự làm 1 dataset chuẩn (khá là cực trong việc làm data),

  • Tạo 1 Embeding Network để thu được các vector đặc trưng của ảnh (VD vector 128 chiều trong openFace) . Tạo EmbedingNet bằng cách tranfer learning, fine turning các mạng như INception, Resnet kết hợp triplet loss để tối thiểu hóa khoảng các giữa các feature của ảnh giống nhau và cực đại hóa các feature của các ảnh khác nhau.

  • Sau khi huấn luyện được Embeding Network (VD output của mạng là vector 128 chiều) thì dùng các thuật toán đơn giản như SVM, Kmean, KNN để classify


#5

Cám ơn bạn nhé, cách tạo embedding network mình còn chưa nắm rõ được nên ngâm cứu từ từ :slight_smile:. Mình mới bổ sung nội dung bài viết cho đầy đủ hơn.