本周主要讲了深度卷积网络的一些模型：LeNet,AlexNet,VGGNet,ResNet,Inception,1×1卷积，迁移学习等。

经典的卷积网络

经典的卷及网络有三种：LeNet、AlexNet、VGGNet。

LeNet-5

LeNet-5主要是单通道的手写字体的识别，这是80年代提出的算法，当时没有用padding，而且pooling用的是average pooling，但是现在大家都用max pooling了。

论文中的最后预测用的是sigmoid和tanh，而现在都用了softmax。

AlexNet

AlexNet是2012年提出的算法。用来对彩色的图片进行处理，其实大致的结构和LeNet-5是很相似的，但是网络更大，参数更多了。

这个时候已经用Relu来作为激活函数了，而且用了多GPU进行计算。

VGG-16

VGG-16是2015的论文，比较简化的是，卷积层和池化层都是用相同的卷积核大小，卷积核都是3×3，stride=1，same padding，池化层用的maxpooling，为2×2，stride=2。只是在卷积的时候改变了每一层的通道数。

网络很大，参数有1.38亿个参数。

建议阅读论文顺序：AlexNet->VGG->LeNet

Residual Network(残差网络)

残差网络是由若干个残差块组成的。

因为在非常深的网络中会存在梯度消失和梯度爆炸的问题，为此，引入了Skip Connection来解决，也就是残差网络的实现。

上图即为一个残差块的基本原理，在原本的传播过程(称为主线)中，加上了$a^{[l]}$到$z^{[l+2]}$的连接，成为’short cut’或者’skip connetction’。

所以输出的表达式变成了:$a^{[l+2]} = g(z^{[l+2]} + a^{[l]})$

残差网络是由多个残差块组成的：

没有残差网络和加上残差网络的效果对比，可以看到，随着layers的增加，ResNet表现的更好：

ResNet为何有用？

假设我们已经经过了一个很大的神经网络Big NN,得到了$a^{[l]}$

那么这个时候再经过两层的神经网络得到$a^{[l+2]}$,那么表达式为：

$$a^{[l+2]} = g(z^{[l+2]} + a^{[l]}) = g(W^{[l+2]} a^{[l+2]} + b^{[l+2]} + a^{[l]})$$

如果加上正则化，那么权值就会很小，假设$W^{[l+2]},b^{[l+2]} = 0$， 因为激活函数是Relu，所以

$$a^{[l+2]} = g(a^{[l]}) = a^{[l]}$$

所以可以看到，加上残差块以后，更深的网络最差也只是和前面的效果一样，何况还有可能更好。

如果只是普通的两层网络，那么结果可能更好，也可能更差。

注意的是$a^{[l+2]}$要和$a^{[l]}$的维度一样，可以使用same padding，来保持维度。

1×1卷积

用1×1的卷积核可以来减少通道数，从而减少参数个数。

Inception Network

Inception的主要好处就是不需要人工来选择filter的大小和是否要添加池化层的问题。

如图可以一次性把各个卷积核的大小和max pool一起加进去，然后让机器自己学习里面的参数。

但是这样有一个问题，就是计算量太大了，假设是上面的$5 \times 5 \times 192$的卷积核，有32个，这样一共要进行$28\times\28\times32\times5\times5\times192=120M$的乘法次数，运算量是很大的。

如何解决这个问题呢？就需要用到前面的1×1的卷积核了。

可以看到经过维度压缩，计算次数少了十倍。

Inception 网络

单个的inception模块如下：

构成的google net如下：

使用开源的实现方案

别人已经实现的网络已经很厉害了，我觉得重复造轮子很没有必要，而且浪费时间，何况你水平也没有别人高。。还不如直接用别人的网络，然后稍加改造，这样可以很快的实现你的想法。

在GitHub上找到自己感兴趣的网络结构fork过来，好好研究！

迁移学习

之前已经讲过迁移学习了，也就是用别人训练好的网络，固定他们已经训练好的网络参数，然后套到自己的训练集上，完成训练。

如果你只有很少的数据集，那么，改变已有网络的最后一层softmax就可以了，比如原来别人的模型是有1000个分类，现在你只需要有3个分类。然后freeze冻结前面隐藏层的所有参数不变。这样就好像是你自己在训练一个很浅的神经网络，把隐藏层看做一个函数来映射，只需要训练最后的softmax层就可以了。

如果你有一定量的数据，那么freeze的范围可以减少，你可以训练后面的几层隐藏层，或者自己设计后面的隐藏层。

数据扩充

数据不够的话，进行数据扩充是很有用的。

可以采用

• 镜像
• 随机裁剪
• 色彩转换color shifting（如三通道：R+20,G-20,B+20）等等

tips:

在数据比赛中

• ensembling：训练多个网络模型，然后平均结果，或者加权平均
• 测试时使用muti-crop，也就是在把单张测试图片用数据扩充的形式变成很多张，然后运行分类器，得到的结果进行平均。