[12/03/2020 23:32] Cho mình xin được biết: tại sao tính liên tục . . .

#1

Nguồn post: https://www.facebook.com/257768141347267_1116032592187480
Cho mình xin được biết: tại sao tính liên tục không được chú trọng với các active functions cũng như đạo hàm của nó? Mình xem rất nhiều active function thông dụng nhưng ít thấy hàm nào vừa đảm bảo được tính liên tục của chính nó và cho cả đạo hàm của nó. Nó có ảnh hưởng gì đến quá trình tính toán của mô hình deep learning tại những điểm gián đoạn không? Các hàm/thư viện trên Python chỉ cung cấp ở dạng API để khai thác chứ nó không có document để mô tả việc thiết lập các API này, nên mình không thể biết bên trong nó đã xử lý thế nào. Mình xin lỗi khi đề cập đến vấn đề này, nhưng nó là cái mình không hiểu nên mình mạnh dạn hỏi, xin các bạn chỉ đáp, mình xin cảm ơn!

#2

ý bạn muốn nói là activation function à? Tính liên tục và khả vi quan trọng chứ bạn.

#3

Cụ thể activation functions nào không liên tục hả bạn? :thinking:

#4

Cảm ơn các bạn nhé. Vậy có nghĩa là nó chẳng ảnh hưởng gì cả. Senja Trinh Bạn không thấy đạo hàm của các hàm họ hàng với đường thẳng có hàm nào là liên tục đâu bạn?

#5

Chỉ có ReLU k có đạo hàm tại 0 thôi chứ nhỉ. Mà ngta coi nó bằng 0 luôn.