一、介绍本文主要描述卷积神经网络的参数学习。在卷积网络中参数为卷积核中权重以及偏置。和全连接前馈网络类似卷积网络也可以通过误差反向传播算法来进行参数学习。二、具体计算在全连接前馈神经网络中梯度主要通过每一层的误差项δ 进行反向传播并进一步计算每层参数的梯度。在卷积神经网络中主要有两种不同功能的神经层卷积层和汇聚层。汇聚层只有一个固定的无参数函数而参数为卷积核以及偏置因此只需要计算卷积层中参数的梯度。对第 l 层为卷积层第 l - 1 层的输入特征映射为通过卷积计算得到第l 层的特征映射净输入。第l 层的第p(1 ≤ p ≤ P )个特征映射净输入 (2.1 )其中和为卷积核以及偏置。第l层中共有个卷积核和P个偏置可以分别使用链式法则来计算其梯度。根据公式附3.1和公式5.25损失函数关于第l层的卷积核的偏导数为(2.2)(2.3)其中为损失函数关于第l层的第p个特征映射净输入Z^{(l,p)} 的偏导数也称为误差项。同理可得损失函数关于第l层的第p个偏置的偏导数为2.4由上述公式可得每层的梯度依赖其所在层的误差项。误差项的计算:由于卷积层和汇聚层的计算有所不同需分开处理。汇聚层当第l 1层为汇聚层时因为汇聚层是下采样操作 l 1 层的每个神经元的误差项 δ 对应于第 l 层的相应特征映射的一个区域。 l 层的第 p 个特征映射中的每个神经元都有一条边和 l 1 层的第 p 个特征映射中的一个神经元相连只有对于区域的神经元链接权重不为0。根据链式法则第l 层的一个特征映射的误差项只需要将l 1层对应特征映射的误差项进行上采样操作和第l 层的大小一样),再和l 层特征映射的激活值偏导数逐元素相乘就得到了。第l层第p个特征映射的误差项推导如下其中为第l层使用的激活函数导数up为上采用函数与汇聚的下采样操作刚好相反。如果采样时最大汇聚误差项中每个值会接传递到上一层对应区域中的最大值所对应的神经元该区域中其它神经元的误差项的都设为0。如果下采样是平均汇聚mean pooling误差项中每个值会被平均分配到上一层对应区域中的所有神经元上。卷积层 当l1 层位卷积层时假设特征映射净输入,其中第p个特征映射净输入位其中W 和 b为第l1层的卷积核以及偏置。第l1 层中共有个卷积核和P个偏置。第l层的第d个特征映射的误差项推导过程如下其中是经由 l1层的 第p个特征映射关于的偏导数。这里之所以采用求和形式是因为正向传播时贡献了输出的每个特征映射。“⊙”可以从各层的神经单元看出。 其中为宽卷积。三、复习资料1、《神经网络与深度学习》,邱锡鹏 机械工业出版社2019年等。附公式3.1
