从LeNet-5开始，卷积神经网络(CNN)通常具有标准结构——堆叠的卷积层(可选的是对比度归一化和maxpooling)之后是一个或多个全连接层。这种基本设计的变体在图像分类文献中很普遍，并且在MNIST, CIFAR以及最值得注意的ImageNet分类挑战上产生了迄今为止最好的结果。对于较大的数据集，如Imagenet，最近的趋势是增加层数和层大小，同时使用dropout来解决过拟合问题。
GoogLeNet是Google在2014年提出的一种深度卷积神经网络架构，它在当时的图像分类任务中取得了很好的效果，并且引起了广泛的关注。它的全名是Inception-v1，因为它的设计思想基于一种称为"Inception module"的模块化结构。 它很好的解决了卷积网络层数深，数据量大的问题。