LeNet神经网络架构的优势与特点探讨

lenet诞生于1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。

自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为lenet5。

lenet5 的架构基于这样的观点：（尤其是）图像的特征分布在整张图像上，以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方式。

在那时候，没有 GPU 帮助训练，甚至 CPU 的速度也很慢。

因此，能够保存参数以及计算过程是一个关键进展。

这和将每个像素用作一个大型多层神经网络的单独输入相反。

lenet5 阐述了那些像素不应该被使用在第一层，因为图像具有很强的空间相关性，而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。