ResNet 詳解
深度網(wǎng)絡(luò )隨著(zhù)層數不斷加深,可能會(huì )引起梯度消失/梯度爆炸的問(wèn)題: “梯度消失”:指的是即當梯度(小于1.0)在被反向傳播到前面的層時(shí),重復的相乘可能會(huì )使梯度變得無(wú)限小。 “梯度爆炸”:指的是即當梯度(大于1.0)在被反向傳播到前面的層時(shí),重復的相乘可能會(huì )使梯度變得非常大甚至無(wú)限大導致溢出。 隨著(zhù)網(wǎng)絡(luò )深度的不斷增加,常常會(huì )出現以下兩個(gè)問(wèn)題: 長(cháng)時(shí)間訓練但是網(wǎng)絡(luò )收斂變得非常困難甚至不收斂 網(wǎng)絡(luò )性能會(huì )逐漸趨于飽和,甚至還會(huì )開(kāi)始下降,可以觀(guān)察到下圖中56層的誤差比20層的更多,故這種現象并不是由于過(guò)擬合造成的。 這種現象稱(chēng)為深度網(wǎng)絡(luò )的退化問(wèn)題。