神经网络与深度学习第三周学习总结

神经网络与深度学习第三周学习总结本周主要学习了深度学习平台、卷积神经网络基础以及LeNet网络结构，具体内容如下：深度学习平台介绍PyTorch：一个Python的深度学习库，最初由Facebook人工智能研究小组开发。PyTorch与TensorFlow2的对比：基本概念：张量：物理量，对高维（维数≥2）的物理量进行“量纲分析”的工具。一维数组为矢量，二维数组为二阶张量，三维数组为三阶张量。计算图：用“结点”（nodes）和“线”（edges）的有向图描述数学计算。“节点”表示数学操作、数据输入/输出起点或持久变量读写终点，“线”表示节点间输入/输出关系，可传输“张量”。卷积神经网络基础全连接网络：连接权过多，计算困难且难以收敛，易陷入局部极小值，产生过拟合问题。局部连接网络：仅部分权值连接，部分输入与权值卷积。填充（Padding）：在矩阵边界填充值（通常为0或复制边界像素），以增加矩阵大小。步长（Stride）：卷积核移动的步长，例如步长为2时，卷积核每次移动2个单位。卷积神经网络结构：由多个卷积层和下采样层构成，后接全连接网络。学习算法：LeNet网络网络结构：各层说明：C1层：每个神经元对应5×5+1个参数，共6个feature map，28×28个神经元，总连接数(5×5+1)×6×(28×28)=122304。S2层：进行池化运算。C3层：与S2层部分连接。S4层：与S2层功能相同。C5层：120个神经元，每个神经元对输入进行5×5卷积，与S4全连接，总连接数(5×5×16+1)×120=48120。F6层：84个神经元，与C5全连接，总连接数(120+1)×84=10164。输出层：由欧式径向基函数单元构成，每类一个单元，输出RBF单元计算输入向量与参数向量间的欧式距离。网络说明：与现代网络的区别：卷积时不填充，池化层采用平均池化而非最大池化，激活函数选用Sigmoid或tanh而非ReLU，层数较浅，参数数量小。普遍规律：随网络深入，宽、高衰减，通道数增加。