So sánh CycleGAN, Stylegan, Style transfer

computer-vision

#1

Như tiêu đề ở trên, mọi người có thể cho mình cái nhìn tổng quan về 3 kiểu style transfer này không ạ?

Thanks


#2

Mình sẽ giải thích theo kiến thức cá nhân của minh, nếu sai các bạn bổ xung nhé.

Style transfer là bài toán trong đó chúng ta biến đổi style của hình ảnh nhưng vẫn giữ lại phần lớn content/structure của ảnh gốc. Có nhiều phương pháp khác nhau để làm chuyện này, và CycleGAN là một phương pháp bạn có thể áp dụng nếu bạn có 2 tập ảnh với 2 style khác nhau (ngựa vs ngựa vằn, ảnh đen trắng vs ảnh màu,…).

StyleGAN lại là một câu chuyện khác. StyleGAN có nhiệm vụ generate ảnh chứ ko transfer style của ảnh. Tác giả đặt tên là StyleGAN vì trong generater của nó sử dụng kỹ thuật AdaIN, nổi tiếng với khả năng biến đổi style, nhưng người đọc dễ nhầm tưởng nó là phương pháp dùng cho style transfer. Cái đoạn tác giả kết hợp style của generated samples với nhau trong bài báo lúc đầu thoạt nhìn mình cứ tưởng style transfer thật nhưng hoá ra là áp dụng trên generated samples thôi.

Đấy mình chia sẻ như vậy, nếu có gì anh chị em vui lòng bổ xung và đính chính nhé. Giáng Sinh an lành :christmas_tree::christmas_tree::christmas_tree:


#3

theo mình tìm hiểu được thì: Style transfer chỉ training cho 1 ảnh origin theo 1 ảnh style, còn CycleGan thì training đầu vào là một tập dữ liệu ảnh origin, theo một tập ảnh style, sau khi CycleGan training xong bạn sẽ có được weight và dùng nó để dự đoán trên ảnh test giống như việc mình training mạng CNN thông thường và sau khi training xong đem đi dự đoán. Mình thử trên cùng dữ liệu thì thấy Style transfer dữ lại cấu trúc ảnh gốc khá nhiều, còn ở CycleGan thì cấu trúc ảnh gốc bị biến dạng nhiều hơn. Cả 2 cái đều không cần ảnh theo cặp, ảnh style khác với ảnh origin (ví dụ mùa đông ở địa điểm A thì khi muốn sinh ra mùa hè ở địa điểm A thì không cần ảnh training mùa hè ở địa điểm đó, dùng ảnh màu hè ở chỗ khác cũng được)

StyleGAN thì chưa kịp làm vì đọc thấy họ training mất cả tuần liền :joy:

Không biết trong time ngắn như vậy tìm hiểu được đến đây có đúng không nữa.