第639章
对于这个神经网络的训练过程,就是要确定这11935个参数bg94 ◎cc
训练的目标可以粗略概括为:对于每一个训练样本,对应的输出无限接近于1,而其它输出无限接近于0bg94 ◎cc
根据MichaelNielsen给出的实验结果,以上述网络结构为基础,在未经过调优的情况下,可以轻松达到95%的正确识别率bg94 ◎cc而核心代码只有74行!
在采用了深度学习的思路和卷积网络(convolutionalnetworks)之后,最终达到了%的正确识别率bg94 ◎cc而针对MNIST数据集达到的历史最佳成绩是%的识别率,是由LiWan,MatthewZeiler,SixinZhang,YannLeCun,和RobFergus在2013年做出的bg94 ◎cc
考虑到这个数据集里还有一些类似如下这样难以辨认的数字,这个结果是相当惊人的!它已经超越了真正人眼的识别了bg94 ◎cc
在这个过程中一步步调整权重和偏置参数的值,就必须引入梯度下降算法(gradientdescent)bg94 ◎cc
在训练的过程中,我们的神经网络需要有一个实际可行的学习算法,来逐步调整参数bg94 ◎cc
而最终的目的,是让网络的实际输出与期望输出能够尽量接近bg94 ◎cc我们需要找到一个表达式来对这种接近程度进行表征bg94 ◎cc这个表达式被称为代价函数(costfunction)
x表示一个训练样本,即网络的输入bg94 ◎cc其实一个x代表784个输入bg94 ◎cc
y(x)表示当输入为x的时候,期望的输出值;而a表示当输入为x的时候,实际的输出值bg94 ◎ccy(x)和a都分别代表10个输出值(以数学上的向量来表示)bg94 ◎cc而它们的差的平方,就表征了实际输出值和期望输出值的接近程度bg94 ◎cc越接近,这个差值就越小bg94 ◎cc
n是训练样本的数量bg94 ◎cc假设有5万个训练样本,那么n就是5万bg94 ◎cc因为是多次训练,所以要除以n对所有训练样本求平均值bg94 ◎cc
C(w,b)的表示法,是把costfunction看成是网络中所有权重w和偏置b的函数bg94 ◎cc为什么这样看呢?进行训练的时候,输入x是固定的(训练样本),不会变bg94 ◎cc在认为输入不变的情况下,这个式子就可以看成是w和b的函数bg94 ◎cc那么,式子右边的