Khi nào thì dùng activation ReLU, khi nào dùng tanh

deep-learning

#1

Hi mn. Em là newbie. Em có thắc mắc là trong deeplearning khi nào thì dùng hàm kích hoạt ReLU, khi nào thì dùng tanh ạ ?. Trong sách của anh Tiệp mục 16.5 có nêu 1 ví dụ dùng mạng neural sử dụng ReLu để phân loại. E có thay đổi thử đoạn “A1 = np.maximum(Z1, 0)” trong hàm mlp_fit thành "A1 = np.tanh(Z1) thì kết quả chỉ khoảng 60% dù có lặp bao nhiêu lần đi nữa. Mong mn giải thích giúp ạ. Thank!