练样本），不会变wandu8• com在认为输入不变的情况下，这个式子就可以看成是w和b的函数wandu8• com那么，式子右边的w和b在哪呢？实际上，在a里面wandu8• comy(x)也是固定值，但a是w和b的函数wandu8• com
总结来说，C(w，b)表征了网络的实际输出值和期望输出值的接近程度wandu8• com越接近，C(w，b)的值就越小wandu8• com因此，学习的过程就是想办法降低C(w，b)的过程，而不管C(w，b)的表达形式如何，它是w和b的函数，这就变成了一个求函数最小值的最优化问题wandu8• com
由于C(w，b)的形式比较复杂，参数也非常多，所以直接进行数学上的求解，非常困难wandu8• com
为了利用计算机算法解决这一问题，计算机科学家们提出了梯度下降算法(gradientdescent)wandu8• com
这个算法本质上是在多维空间中沿着各个维度的切线贡献的方向，每次向下迈出微小的一步，从而最终抵达最小值wandu8• com
由于多维空间在视觉上无法体现，所以人们通常会退到三维空间进行类比wandu8• com当C(w，b)只有两个参数的时候，它的函数图像可以在三维空间里呈现wandu8• com
就好像一个小球在山谷的斜坡上向下不停地滚动，最终就有可能到达谷底wandu8• com这个理解重新推广到多维空间内也基本成立wandu8• com
而由于训练样本的数量很大（上万，几十万，甚至更多），直接根据前面的C(w，b)进行计算，计算量会很大，导致学习过程很慢wandu8• com
、于是就出现了随机梯度下降(stochasticgradientdescent)算法，是对于梯度下降的一个近似wandu8• com
在这个算法中，每次学习不再针对所有的训练集，而是从训练集中随机选择一部分来计算C(w，b)，下一次学习再从剩下的训练集中随机选择一部分来计算，直到把整个训练集用光wandu8• com然后再不断重复这一过程wandu8• com
深度神经网络（具有多个hiddenlayer）比浅层神经网络有更多结构上的优势，它有能力从多个层次上进行抽象wandu8• com
从上个世纪八九十年代开始，研究人员们不断尝试将随机梯度下降算法应用于深度神经网络的训练，但却碰到了梯度消失(vanishinggradie