我們知道，像上面這樣，從左至右容易算出來(lái)。但反過(guò)來(lái)我們上面講到，測(cè)試集有圖片，也有預(yù)期的正確答案，要反過(guò)來(lái)求w1，w2......，怎么辦？

　　繞了半天，終于該求偏導(dǎo)出場(chǎng)了。目前的情況是：

　　1.我們假定一個(gè)神經(jīng)網(wǎng)絡(luò)已經(jīng)定義好，比如有多少層，每層有多少個(gè)節(jié)點(diǎn)，也有默認(rèn)的權(quán)重和激活函數(shù)（后面講）等。這個(gè)沒(méi)辦法，剛開(kāi)始得有一個(gè)初始值。你喜歡一個(gè)美女，她也不是剛從娘胎里出來(lái)的，也是帶有那就得調(diào)整參數(shù)。因?yàn)檩斎耄▓D像）確定的情況下，只有調(diào)整參數(shù)才能改變輸出的值。怎么調(diào)整，怎么磨合？剛才我們講到，每個(gè)參數(shù)都有一個(gè)默認(rèn)值，我們就對(duì)每個(gè)參數(shù)加上一定的數(shù)值?，然后看看結(jié)果如何？如果參數(shù)調(diào)大，差距也變大，你懂的，那就得減小?，因?yàn)槲覀兊哪繕?biāo)是要讓差距變??；反之亦然。所以為了把參數(shù)調(diào)整到最佳，我們需要了解誤差對(duì)每個(gè)參數(shù)的變化率，這不就是求誤差對(duì)于該參數(shù)的偏導(dǎo)數(shù)嘛。

　　關(guān)鍵是怎么求偏導(dǎo)。圖2和圖3分別給了推導(dǎo)的方法，其實(shí)很簡(jiǎn)單，從右至左挨個(gè)求偏導(dǎo)就可以。相鄰層的求偏導(dǎo)其實(shí)很簡(jiǎn)單，因?yàn)槭蔷€(xiàn)性的，所以偏導(dǎo)數(shù)其實(shí)就是參數(shù)本身嘛，就跟求解x?的偏導(dǎo)類(lèi)似。然后把各個(gè)偏導(dǎo)相乘就可以了。、

　　這里有兩個(gè)點(diǎn)：一個(gè)是激活函數(shù)，其實(shí)激活函數(shù)也沒(méi)啥，就是為了讓每個(gè)節(jié)點(diǎn)的輸出都在0到1的區(qū)間，這樣好算賬嘛，所以在結(jié)果上面再做了一層映射，反正都是一對(duì)一的。由于激活函數(shù)的存在，所以在求偏導(dǎo)的時(shí)候，也要把它算進(jìn)去，激活函數(shù)，一般用sigmoid，也可以用Relu等。激活函數(shù)的求導(dǎo)其實(shí)也非常簡(jiǎn)單：