[AIviVN] Cách tính điểm chung cuộc


#1

Chào các bạn,

AIviVN xin thông báo cách tính điểm chung cuộc cho tất cả các cuộc thi từ nay trở đi, bao gồm cuộc thi của Kalapa. Cụ thể, điểm chung cuộc sẽ được tính dựa theo điểm private score cao nhất trong 5 bài nộp cuối cùng. Các đội nộp ít hơn 5 bài sẽ không được trao giải.

Số lượng bài nộp trong một ngày vẫn không thay đổi: 5 lần trong một ngày cho mỗi đội.

Luật chơi này được áp dụng cho tất cả các cuộc thi trên AIviVN từ nay về sau.


[04/15/2020 01:58] [Kalapa's CreditScoring Challenge] Các bạn chú ý cách tính private score . . .
#2

Tiệp ơi, giờ cần xác nhận email trước khi submit, nhưng sao mình ko thấy email được gửi thông báo xác nhận nhỉ? Hôm nay chưa kịp submit…

Thanks Tiệp.


#3

Bạn kiểm tra hòm email spam xem.


#4

Mình check rồi ko thấy có, mấy người bạn của mình cũng báo là ko nhận đc


#5

Mình vừa sửa lỗi. Bạn và mấy người bạn vào xem lại nhé. Rất xin lỗi các bạn về lỗi này.


#6

Ok, cám ơn Tiệp nhé.


#7

Tiệp ơi, giờ submit lại bị lỗi Header Error nhỉ, nhưng vẫn báo nộp bài thành công :frowning:


#8


#9

Bạn kiểm tra lại Header. Vì “Nộp thành công” chỉ có nghĩa là upload file thành công. Còn nếu file bị lỗi thì sẽ báo như thế. Khi nào bạn thấy phản hồi “ok” mới được.


#10

Hi Tiệp, private LB khá bất ngờ, quá nhiều các đội bị overfitting :)) Mình có 2 câu hỏi muốn hỏi Tiệp cùng BTC:

  1. Trong bxh mình thấy BTC chưa loại đi các cá nhân/đội có dưới 5 lần submit thì phải?
  2. Nếu những cá nhân/đội xếp thứ hạng cao mà ko cung cấp source code & bài trình bày thì sẽ thế nào? Sẽ loại để lấy các cá nhân/đội có thứ hạng cao tiếp theo à? :))) Vẫn đang đợi thêm thông báo của BTC về những thắc mắc trên.

Many thanks!


#11

Chào bạn,

Hai câu hỏi của bạn có một câu trả lời chung là: BXH bạn thấy trên trang aivivn không phải là BXH được dùng để trao giải!

  1. Các tài khoảng với ít hơn 5 lần submit vẫn có điểm ở đó nhưng chắc chắn không có giải.
  2. Nếu các đội điểm cao không trình bày lời giải trước 23h59 ngày chủ nhật 19/04 thì giải thưởng sẽ trao cho các đội tiếp theo có trình bày lời giải.

#12

Ok, cám ơn Tiệp & BTC.


#13

Anh ơi em xin góp ý, với những cuộc thi có variance điểm cao ( ví dụ như kalapa ), việc lấy điểm private score trung bình của 5 lần nộp cuối sẽ là hợp lí và phản ánh chính xác hơn độ tốt của model, cũng như tránh được tình trạng spam nick phụ.


#14

@sofq: Việc đó đâu hạn chế đc việc lập nick phụ, người ta cứ lập nick phụ rồi submit thôi, nick nào điểm cao thì nhận giải nick đó thôi :smile: Cái bạn nói chỉ liên quan đến rule tính điểm thôi, và với mỗi rule tính điểm khác nhau thì người submit họ sẽ có những “chiến lược” submit khác nhau để đạt kết quả tốt nhất thôi.

@Tiep: Cá nhân mình tôn trọng quyết định cuối cùng của BTC. Đã là rules thì phải follow thôi để đảm bảo tính công bằng cho các đội khác nữa (đã note rõ 1 người chỉ được tham gia 1 đội rồi thì cứ vậy mà triển thôi). Việc rà soát lại các tài khoản top cao bị “nghi ngờ” do số lần submit ít & email na ná nhau là hợp lý, vì trước đó Tiệp cũng như BTC cũng đã đề cập rồi, và cá nhân mình thấy rõ ràng ở đây các bạn (Tiệp & BTC) chả đc lợi lộc gì cả, giải thưởng & tiền thì đằng nào cũng sẽ trao cho 1 đội nào đó, nhưng mình hiểu việc trao cần phải cho người xứng đáng (ở đây là đúng luật), nên mình ủng hộ. Thực ra, đây có lẽ cũng là lần đầu BTC tổ chức 1 cuộc thi như thế này, nên việc bảo là hạn chế đc 100% việc cheating là hoàn toàn ko thể, nhưng hạn chế đc phần nào thì tốt phần đó để cho công bằng. Đây cũng sẽ là bài học kinh nghiệm cho BTC để tổ chức những cuộc thi sau (hạn chế được nhiều nhất các cheater :smile:) & và cũng là “bài học” cho những cheater :smile: - cần phải cheat “tinh vi” hơn :smile:


#15

@truongnh92 Mình ví dụ đội 1 nộp 5 lần và có điểm số : 1, 2, 3, 4, 5 và đội 2 nộp 5 lần và có điểm số : 4, 4.1, 4.2, 4.3 ,4.4, vậy theo bạn đội nào xứng đáng hơn. Việc lấy điểm trung bình sẽ giúp hạn chế tình trạng may rủi, các đội sẽ buộc phải tìm ra những model vừa có tính ổn định và vừa đạt kết quả cao. Tất nhiên là đội nào lập càng nhiều nick thì vẫn sẽ có cơ hội hơn, nhưng khi độ may rủi giảm thì việc lập nhiều nick phụ cũng sẽ không ảnh hưởng nhiều đến kết quả chung cuộc.


#16

Rules tính điểm là cái có trước, việc submit là hành vi xảy ra sau đó. Khi rules tính điểm đã đc set, thì lúc đó người chơi mới lựa chọn cách thức submit. Như ví dụ của bạn, tùy từng trường hợp (tùy rules) người chơi sẽ có thể lựa chọn cách submit khác nhau:

  • Nếu lấy max(submissions), thì rõ ràng người chơi nên chọn cách 1: Lựa chọn các submissions có điểm score khác nhau, để tránh overfitting.
  • Nếu lấy average(submisions), thì nên chọn cách 2: Lựa chọn các submissions có điểm score cao nhất (thậm chí submit cả 5 cái giống nhau có điểm score cao nhất cũng là 1 lựa chọn).

Vì vậy, cái bạn nói (thay đổi rules tính điểm) - KO giải quyết 2 thứ mà bạn có đề cập:

  1. “Phản ánh chính xác hơn chất lượng model”: Vì rules là cái có trước & thông thường người chơi build rất nhiều model khác nhau, cái họ submit cuối cùng chỉ là kết quả của 1 hoặc 1 số model mà họ lựa chọn để kỳ vọng maximize điểm theo rules mà BTC đề ra.
  2. “Tránh được tình trạng spam nick phụ”: Trong trường hợp người chơi mà “đc” lập nick phụ, họ có thể hoàn toàn có thể lựa chọn cách này:
  • Đối với tài khoản 1: họ dùng kết quả của model A để submit kết quả cuối cùng.
  • Đối với tk 2: dùng kết quả của model B để submit kq cuối cùng.
  • v.v.

#17

Mình đang so sánh 2 phương án, trên thực tế 1 model ổn định sẽ luôn được tin dùng hơn 1 model bất ổn. Đó là lí do người ta sinh ra KFold, và việc tối ưu điểm số khi dùng k-fold Cross-Validation luôn được tin dùng hơn nếu bạn chỉ tạo 1 tập valid và lấy nó để đo độ chính xác của model. Như ví dụ trên của mình, nếu dùng rule ‘điểm cao nhất’ thì bạn sẽ chọn model 1, đó là 1 model tồi hơn model 2.
Bạn càng nhiều nick thì bạn càng có nhiều cơ hội, nó đúng, nhưng khi dùng rule ‘điểm trung bình’, bạn hạn chế được tính may rủi, do đó tỉ lệ để model tồi hơn như model 1 đạt top cao sẽ bị giảm, những model tốt (có độ ổn định cao và kết quả trung bình cao ) sẽ có nhiều cơ hội hơn, nên việc lập thêm nick phụ cũng sẽ ít ảnh hưởng đến kết quả chung hơn.