Hỏi về fast ai (gắn với kernel trong kaggle)


#1

Mình có follow theo bài này thì có 2 thăc mắc:

Một là: Như hình thì phải chọn learning rate là 1e-02 chứ nhỉ, sao họ lại chọn là 1e-2.

Hai là: cái cách (chắc là trick) mà họ tăng kích thước ảnh ở đoạn

data = ImageDataBunch.from_folder(path,test='../test', ds_tfms=get_transforms(),valid_pct=0.25,size=350,bs=32,num_workers=0)

trong course của fast không nói tới phải không nhỉ. Nếu có thì nó ở bài nào ạ, mình muốn nghe họ giải thích về cái này.

Thanks,


#2

1e-02 thì khác gì 1e-2 hả em.

Trong CLR, learning rate tối ưu thường được chọn nằm ở lân cận của vùng cực trị trước khi phân kỳ, 1 rule-of-thumb là lấy nhỏ hơn 10 lần ( 1 order of magnitude) tức là khoảng 1e-1/10 = 1e-2.


#3

chắc do em đọc nhiều quá đâm lú, không để ý 02 = 2 :sweat_smile:. Thanks anh ạ.

anh có nhận xét gì về câu hỏi thứ 2 không ạ.


#4

Để train theo batch thì file phải có kích thước cố định, chắc người ta resize về 350 để đảm bảo là không file nào bị scaled down thôi.

Scale up không làm tăng thông tin trong ảnh và làm tăng thời gian tính toán, scale down thì làm mất thông tin, chỉ có trade-off như vậy thôi.


#5

Em không biết sau khi bạn ấy tăng kích thước ảnh lên 350 thì cái tập valid lúc đầu (ảnh size 299) và lúc sau ảnh (ảnh size 350) có giống nhau không nữa, nếu không giống nhau thì đánh giá error_rate (giảm ~1,2% so với ảnh size 299) không ok lắm. Sao không chọn luôn size ảnh 350 đi nhỉ.