Activation function có làm NN linear?

neural-network

#1

Em chào mọi người, em mới bắt đầu học Neural network ạ. Em có tìm hiểu là hàm activation function giúp xây dựng bộ phân lớp phi tuyến. Nhưng em thử trên playground tensorflow với mạng 1 layer gồm 2 node, có áp dụng hàm tanh thì đường biên vẫn ra tuyến tính.

Em mong nhận được giải đáp từ mọi người.

Em xin cảm ơn nhiều.


#2

Công thức y = threshold(tanh(xW)). Hàm threshold nghĩa là nếu output của hàm tanh lớn hơn một ngưỡng nào đó thì sẽ phân lớp vào class 1, và ngược lại. Xét 1 điểm dữ liệu x_i, y_i: y_i = threshold(tanh(x_i * W)) = threshold(tanh(w0 + w1 * x1 + w2 * x2)). Đường phân chia xảy ra khi biểu thức = 0. Ta có: threshold(tanh(w0 + w1 * x1 + w2 * x2)) = 0 suy ra, w0 + w1 * x1 + w2 * x2 = 0 -> công thức đường thẳng.