2.2
神經(jīng)?絡(luò)的訓(xùn)練

2.2.1
前向傳播（Forward
Propagation）

介紹完神經(jīng)?絡(luò)的?致結(jié)構(gòu)，我們就已經(jīng)對(duì)前向傳播這件事有?定的了解了！?張圖?變成784維向量
輸?給神經(jīng)?絡(luò)的輸?層的784個(gè)神經(jīng)元們，?后接下來(lái)的第?層隱層根據(jù)它的784*16個(gè)權(quán)重和16個(gè)
偏置，產(chǎn)?了16個(gè)新的輸出，送給了下?個(gè)隱層；下?個(gè)隱層則繼續(xù)根據(jù)16*16個(gè)權(quán)重和16個(gè)偏置，
輸出16個(gè)標(biāo)量給輸出層。最后，輸出層在根據(jù)??的10*16個(gè)權(quán)重和10個(gè)偏置，輸出10個(gè)數(shù)字。在神
經(jīng)?絡(luò)的設(shè)計(jì)中，我們往往希望輸出層輸出的是?個(gè)概率分布函數(shù)，每個(gè)值都為正，?總和為1（總和
為1?般選擇softmax，因?yàn)閟oftmax的輸出就是0-1的區(qū)間）；然后對(duì)于值最?的?個(gè)神經(jīng)元對(duì)應(yīng)的內(nèi)
容（在上?的例?中是數(shù)字），就是我們的輸出。這就是前向傳播。
前向傳播（Forward
Propagation）是?種在神經(jīng)?絡(luò)中進(jìn)?信息傳遞的過(guò)程，它是神經(jīng)?絡(luò)訓(xùn)練的
第?步。在前向傳播中，輸?數(shù)據(jù)通過(guò)神經(jīng)?絡(luò)的多個(gè)層（包括輸?層、隱藏層和輸出層）按照預(yù)定
的權(quán)重和偏置進(jìn)?計(jì)算，從輸?層傳遞到輸出層，最終得到神經(jīng)?絡(luò)的預(yù)測(cè)結(jié)果。
 

2.2.2
梯度下降（Gradient
Descent）

我們已經(jīng)搞懂了模型是怎么從輸?到產(chǎn)?輸出的，但我們真正要解決的機(jī)器學(xué)習(xí)問(wèn)題在于，怎么讓機(jī)
器??找到這13002個(gè)參數(shù)，實(shí)現(xiàn)學(xué)習(xí)的過(guò)程？

也就是后期優(yōu)化權(quán)重的過(guò)程了。