梳理深度学习论文（一）

Alexnet

2013年 Hinton大牛提出 60 million parameters + 650000 neuron 五层卷积层（有些后面有池化层）+三层全连接层+1000路softmax层

提出了ReLU比tanh要快的说法

ReLU可以不需要进行归一化，但Local Response Normalization依然有帮助 将模型top1和top5的错误率分别降低了1.4%和1.2%。 标准化层的公式：

overlapping pool（重叠池化）：相邻的池化层之间有重叠部分 将模型top1和top5的错误率分别降低了0.4%和0.3%。 池化资料https://my.oschina.net/findbill/blog/550565

GPU的使用

整体结构 输入图像（224*224*3）——96个卷积核（11*11**3，步长4） 公式(W-F+2P)/S+1（这里应该是（227-11）/4+1=55，是论文本身没说清） 卷积核的空间大小要小于输入，但是深度和输入数据保持一致。 第二层中55x55x96个神经元，每个都和输入数据体中一个尺寸为[11x11x3]的区域全连接。在深度列上的96个神经元都是与输入数据体中同一个[11x11x3]区域连接，但是权重不同。

如何降低过拟合？

数据增强：使用标签-保留转换，人为地扩大数据集Dropout：是以0.5的概率将每个隐层神经元的输出设置为零