Bài toán Stance Detection


#1

Chào mọi người, hiện tại em đang làm về bài toán Stance Detection với dataset gồm 11000 cặp câu comment (Sentence1, Sentence2) gồm 4 nhãn chính: [‘disagree’, ‘agree’, ‘discuss’, ‘unrelated’] dựa trên ý tưởng cuộc thi http://www.fakenewschallenge.org/ Với input: bao gồm 2 câu và output là một trong 4 nhãn trên. Ví dụ: image

Hiện tại em đã thử nghiệm được một số phương pháp dựa trên RNN, LSTM, MLP và sử dụng Bert để embedding sentence A và embedding sentence B rồi em nối 2 vector trên từ đó softmax ra kết quả cần dự đoán nhưng F1-score chỉ tầm 0.72. Không biết forum ai đã từng làm về bài toán Stance Detection rồi có thể cho em một số lời khuyên hoặc phương pháp để cải thiện kết quả với ạ. Em xin cảm ơn!


#2

Cái này giống Entailment Approach. Details ở đây https://huggingface.co/facebook/bart-large-mnli. Good luck.


#3

Nếu là mình chắc sẽ nối 2 câu rồi thử classify 4 class trước, rồi sau thử thay đổi task, số lớp có gộp hay thêm thông tin, augument data, … Nhưng mà bài toán này hay =))


#4

Emn cảm ơn, để e thử coi