Back propagation Algorithm

machine-learning

#1

Ai đó có thể giải thích lại cho em hiểu rõ các kí hiệu tam giác, và D ở đây được không ạ.

Ngoài ra em vẫn chưa hiểu công thức tính delta image Hỉnh ảnh trong khóa học của thầy Andrew Ng Em cám ơn.


#2

Đều gọi là delta.

Tam giác là DELTA viết hoa. Xoắn quẩy là delta viết thường.

Kiểu như chữ latin viết D và d vậy.

Công thức kia thì tự hiểu dc thì tốt hơn.


#3

Mình cũng newbie nhưng mạnh dạn nêu ra ý kiến mong mọi người giúp đỡ.

3BLUE1BROWN có hẳn 1 series về neural network. Về Backprop mà bạn phân vân thì bạn xem video này : Backpropagation - 3blue1brown

Phần error của layer l trong công thức bạn hỏi thì mình hiểu là chính độ thay đổi của hàm mất mát khi thay đổi z tại layer l. Xem thêm tại đây Multi-layer Perceptron và Backpropagation

Theo mình hiểu thì như này:

\delta^{(l)} = \frac{\partial J}{\partial z^{(l)}} \\ Chain-rule: \frac{\partial J}{\partial z^{(l)}} = \frac{\partial a^{(l)}}{\partial z^{(l)}} \cdot \frac{\partial z^{(l+1)}}{\partial a^{(l)}} \cdot \frac{\partial J}{\partial z^{(l+1)}} \\ a^{(l)} = g(z^{(l)}) \Rightarrow \frac{\partial a^{(l)}}{\partial z^{(l)}} = g'(z^{(l)}) \\ z^{(l+1)} = w^{(l)}a^{(l)} \Rightarrow \frac{\partial z^{(l+1)}}{\partial a^{(l)}} = w^{(l)} \\ \delta^{(l+1)} = \frac{\partial J}{\partial z^{(l+1)}}\\ \\ \delta^{(l)} =(w^{(l)})^T\delta^{(l+1)}\cdot*g'(z^{(l)})

#4

Bạn nhầm cái D rồi.

D for Derivative - đạo hàm.

Ở đây, D là partial derivative - đạo hàm từng phần.


#5

Mình cũng đa tìm hiểu một thời gian: thì hiểu như sau: lowercase d, chỉ erorr trên layer l (e nờ), với một trainning example cụ thể còn, uppercase triangle (tam giác hoa) chỉ tổng erorr trên layer l (e nở) với tất cả các trainning example.

Vậy với một unit, thì lowercase d (i,j,l (e nờ)) khác như thế nào với uppercase D (i,j, l (e nờ))


#6

à mình nhầm, D là đạo hàm từng phần, rõ ràng có ghi partial derivatives và cái công thức bự dJ bự chà bá dưới kia còn nhầm đc :sweat:


#7

Cám ơn bạn vì link hữu ích nha.

Tiện thể cho mình hỏi thêm, có cách nào tải file subtitle của video không, vì mình đôi khi nghe không được tốt, có chỗ cần làm rõ ý thì cần phải nhờ phần mêm dịch. Tks


#8

cái lowercase delta là đạo hàm của hàm mất mát theo z

\delta^{(l)} = \frac{\partial J}{\partial z^{(l)}}

còn cái uppercase delta là đạo hàm của hàm mất mát theo trọng số weight(w)

\triangle^{(l)} = \frac{\partial J}{\partial w^{(l)}}

cái uppercase D là đạo hàm của hàm mất mát theo weight(w) trung bình trên m examples

D^{(l)} =\frac{1}{m} \cdot(\triangle^{(l)} + \lambda\theta^{(l)}), \lambda\theta^{(l)} :Regularization

#9

tải subtitle của video ở đâu hả bạn?. Google 1 tí chắc sẽ ra mà


#10

ok cám ơn bạn, ý mình là subtitle của video trên youtube từ cách link bạn gửi đấy.

Mình vừa search tìm được cách rồi, mình nghĩ nó khó lắm nên tiện hỏi luôn :).