深度卷积神经网络在图像分类方面取得了一系列突破。深度网络以端到端的多层方式自然地集成低/中/高级特征和分类器，并且特征的“级别”可以通过堆叠层的数量(深度)来丰富。最近的证据表明网络深度是至关重要的，在具有挑战性的ImageNet数据集上的领先结果都利用了“非常深”模型，深度为16到30。但当深度越高时候却会产生退化问题（不同于过拟合，证明如下图），ResNet则可以解决这个问题。
1.残差连接：ResNet引入了残差连接，通过将输入直接添加到网络的输出，构建了一个跳跃连接（skip connection），用于传递梯度和信息。这使得网络可以学习残差映射，即学习输入与输出之间的差异。这种连接方式有助于减轻梯度消失问题，让深层网络能够更容易地学习和优化。
从LeNet-5开始，卷积神经网络(CNN)通常具有标准结构——堆叠的卷积层(可选的是对比度归一化和maxpooling)之后是一个或多个全连接层。这种基本设计的变体在图像分类文献中很普遍，并且在MNIST, CIFAR以及最值得注意的ImageNet分类挑战上产生了迄今为止最好的结果。对于较大的数据集，如Imagenet，最近的趋势是增加层数和层大小，同时使用dropout来解决过拟合问题。
GoogLeNet是Google在2014年提出的一种深度卷积神经网络架构，它在当时的图像分类任务中取得了很好的效果，并且引起了广泛的关注。它的全名是Inception-v1，因为它的设计思想基于一种称为"Inception module"的模块化结构。 它很好的解决了卷积网络层数深，数据量大的问题。
VGGNet（Visual Geometry Group Network）是一种深度卷积神经网络架构，由牛津大学视觉几何组（Visual Geometry Group）的研究团队开发。VGGNet在2014年被提出，并在当年的ImageNet图像识别挑战中取得了优异的成绩。
1.网络结构简单规整：VGGNet采用了相同大小的卷积核和池化核，并且每个卷积层后面都紧跟着一个池化层，使得整个网络结构变得规整而易于理解。这种结构设计简化了网络的复杂性，使得网络更容易实现和调整。
2.深度网络：VGGNet通过增加网络的深度来提高模型的表达能力。相比于之前的网络结构，VGGNet使用了更多的卷积层，包含16层或19层，使得网络能够更好地捕捉图像中的细节和复杂特征。
AlexNet是一种深度卷积神经网络（Convolutional Neural Network，CNN），由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年提出。它是在ImageNet图像分类挑战赛中取得突破性成果的关键模型，标志着深度学习在计算机视觉领域的崛起。
1.非线性激活函数：AlexNet首次引入了ReLU（Rectified Linear Unit）作为激活函数，取代了传统的Sigmoid函数。ReLU函数具有线性增长和非饱和性，能够加速训练过程并缓解梯度消失问题。
2.局部响应归一化（LRN）：AlexNet在卷积层之间引入了LRN层，该层对局部神经元的活动进行归一化处理，增强了模型的泛化能力。
LeNet是由Yann LeCun等人于1998年提出的一个经典卷积神经网络模型，也是第一个成功应用于手写数字识别任务的卷积神经网络。LeNet模型在计算机视觉领域的发展中具有重要的意义，奠定了卷积神经网络的基础。
1.提出了卷积神经网络的基本结构：LeNet模型是第一个成功应用于手写数字识别任务的卷积神经网络。它引入了卷积层、池化层和全连接层的组合结构，为后续的深度学习模型奠定了基础。但池化层采取的是平均池化，而不是后来的最大池化。
2.层次化的特征提取：LeNet模型通过卷积层和池化层的组合，实现了对输入图像的多层次特征提取。卷积层用于提取局部特征，而池化层则通过下采样操作减小特征图的尺寸，使得模型能够对不同尺度的特征进行感知。
