要想输入其他尺寸大小的图，我们应该把该层替换成AdaptiveAvgPool，并将输出设置大小为1，这样就能保证无论上一层Feature Map尺寸是多少，出来的尺寸都会是1x1。

当然，有可能一下子缩到1x1太小了，损失了太多信息，所以我们也可以把AdaptiveAvgPool输出大小设置为2或3，使得输出尺寸变成2x2和3x3，这样的好处是保留下更多的信息。为了与之匹配，还需要改动后面整个全连接层的尺寸。我们后来在Densenet和ResNet上尝试这个改动，取得了不错的效果。

以上是针对ResNet和DenseNet来说的，而像VGG这种模型，最后Feature Map是直接Flatten（拉直）然后接全连接，我们如果要利用到后面的预训练全连接层信息，我们就只能将输入图片缩放成224x224了。

除了更改Pooling输出尺寸，另一个尝试成功的魔改是关于全连接层的。ImageNet模型最后一层是1000类，而我们需要的是17类输出，以往常见的做法是把最后一层全连接层换掉，换成一个output size为17的新全连接层，然后重新初始化它的参数。

然而，我们的两个队友却因为偷懒发现了效果更好的做法，就是直接在预训练模型的1000维输出后面，直接就接上一个1000x17的全连接层。我们猜测，它效果好的原因是额外地保留下了全连接层的预训练信息。

另外有些队友担心，这个比赛的大多数图片都可能被预训练模型识别为草地之类的ImageNet类别，所以可能基本上都只激活1000维中的少数几个，会很稀疏，这样其实应该是对训练不利的。

针对这种疑虑，我们将很多比赛图片输入预训练模型后，发现它们在1000类上预测的概率值并不稀疏，所以应该没太大问题。不过，这种新做法也可能只对这次比赛任务有效，在其他任务上还是建议先试着把最后一层全连接换掉或是整个随机初始化，因为一般来说最后一层的可迁移性更差一点。

至于具体要怎么在全连接层中加Batchnorm、Dropout就看个人选择了，我们在发现这个任务上没有太显著影响，后面大部分模型都没有加。

我们在探索Data部分的时候可以得知，四个天气类会且只会出现一个，这很容易让我们想到将这四个类单独拿去来接一个Softmax层而不是Sigmoid层，使四个类概率和为1，预测的时候只预测最大概率的天气类。

但这样做实际效果并不好，因为我们上面提到过这次比赛的评价指标是F2-Score，更希望有比较高的召回率而不是准确率，如果最高两个天气类非常接近，那把它们一起预测为正，虽然有一个肯定会猜错，但却可能可以取得更高的F2-Score，总体上反而是划算的。

3.7 学习率与Batch Size

关于模型的训练，我们使用的是Adam作为优化器，因为它对学习率有一定程度的自适应微调，收敛速度快，而且对一些小类的更新也比较友好。

我们尝试了1e-2, 1e-3, 1e-4, 1e-5, 几个范围后，大致确定了1e-4是一个比较好的初始学习率，后面我们对不同的模型调整初始学习率都是对这个值乘以2、4倍或除以2、4倍，主要是随着Batch Size等比例变化。

我们的Batch Size大概是在32到128之间，取决于GPU是否能装得下多大。有时候我们也会将一些调低Batch Size到32做一下实验。

3.8 数据增强（Data Augmentation）

图像比赛的一个重头戏就是数据增强，我们为什么要做数据增强呢？

我们的训练模型是为了拟合原样本的分布，但如果训练集的样本数和多样性不能很好地代表实际分布，那就容易发生过拟合训练集的现象。数据增强使用人类先验，尽量在原样本分布中增加新的样本点，是缓解过拟合的一个重要方法。

需要小心的是，数据增强的样本点最好不要将原分布的变化范围扩大，比如训练集以及测试集的光照分布十分均匀，就不要做光照变化的数据增强，因为这样只会增加拟合新训练集的难度，对测试集的泛化性能提升却比较小。

另外，新增加的样本点最好和原样本点有较大不同，不能随便换掉几个像素就说是一个新的样本，这种变化对大部分模型来说基本是可以忽略的。

一些常见的图像数据增强方式有：

亮度，饱和度，对比度的随机变化

随机裁剪（Random Crop）

随机缩放（Random Resize）

水平/垂直翻转（Horizontal/Vertiacal Filp）

旋转（Rotation）

加模糊（Blurring）

加高斯噪声（Gaussian Noise）