Về Embedding trong tóm tắt văn bản


#1

Xin chào mn ạ, hiện tại em đang đọc 1 paper tóm tắt văn bản. Tuy nhiên ở giai đoạn embedding họ không sử dụng pre-train mà random sau đó để nó tự học. Mn cho em hỏi cách làm này có phổ biến không và lợi ích của nó là gì so với việc dùng pre-train có sẵn ạ. Em cám ơn ạ.


#2

Theo mình nghĩ thì do không có bộ pre-train ổn nên họ dùng matrix-embedding tự học thôi. Nó không tốt hơn pre-train đâu. Ta cũng có thể sử dụng pre-train xong cho nó học đồng thời trong quá trình training, cũng có bài báo cho thấy nó tốt hơn là để nguyên.