好激动，所有的精灵分类都是完全正确的！但是这些指标代表这个网络模型的预测性能吗？其实这些指标是在暗示我们，该模型已经完全拟合了训练集数据，但是不能很好地预测新数据。让我们来验证一下：下图展示了该模型对验证集的预测性能。

　　△ 图17：第一个模型对验证集的分类性能

　　虽然目前模型的分类效果优于随机猜测，但是网络确实存在过拟合问题。

　　奇怪的是，为什么飞行属性没有对应的精灵呢？事实上，只有精灵龙卷云是属于飞行属性的，但是它被划分到了训练集。

　　△ 图18：我们的数据集中，龙卷云是唯一的飞行属性精灵. 第二个模型：图像增强

　　在对验证集的预测上，第一个模型表现不佳。正如在介绍中提到的，计算机仍在努力解决图像分类的问题。我们的数据集存在数量太少和变化不多的问题，使得此算法训练得到的模型不具备特征泛化能力。

　　为了解决这个问题，我们应用了图像增强技术。我们通过对训练集图像进行随机变换，来增强它们的变化。无论皮卡丘的方向是颠倒的或者是一定程度倾斜，人类都能够准确识别，我们希望训练出的模型也有这个功能。

　　因此，我们对训练集数据进行以下变换：

　　1）高达40度的随机旋转；

　　2）高达20％的图像宽度的随机水平移位；

　　3）高达20％的图像高度的随机垂直移位；

　　4）高达20％的随机放大；

　　5）垂直镜像；

　　6）在0.2弧度范围内，进行剪切变换。

　　△ 图19：对妙蛙种子进行图像增强操作后获得的一系列图像

　　我将上述的增强变换应用于训练集中的所有精灵，每个精灵图像能够生成10个新图像。这样，我们把训练集的样本量扩展到了27,270个。经过这样的操作，是否能够正确分类？该算法运行超过30步，用了超过10分钟的时间，训练结果如下图所示：

　　△ 图20：第二个模型对训练集的分类性能.

　　咦，我们的模型性能下降了？图像增强技术不是应该使我的网络模型预测性能变得更好么？

　　别着急下结论，我们不能根据对训练集的分类效果来下定论。该模型预测性能的整体下降是由于训练集变化的增加，如果它能转化为对验证集更好的分类性能，这应该是个好消息。

　　△ 图21：第二个模型对验证集的分类性能.

　　我们证明了，图像增强技术有助于提高模型的预测性能，对验证集的预测准确率提高了14%，达到了39％。我们可以通过改动该模型的超参数或优化卷积网络的结构，来获得更好的预测模型，但我们希望将后续的工作交给读者来完成。

　　对分类结果进行研究

　　我们要从结果中提取到关键的规律。预测精度较高的属性如下：

　　火：61%

　　水：54%

　　毒：54%

　　草：47%

　　电：46%

　　召回率较高的属性如下：

　　恶：92%

　　火：74%

　　水：55%

　　一般：49%

　　草：42%

　　这个结果并不奇怪，火、水和草这三种主要属性在这两个指标中均位列前五。这是由于这些属性与颜色具有关联性，这是从精灵图像里容易提取到的信息。同时属于这三种属性的精灵也很多，所以有很多的训练样本可供模型进行学习。

　　现在来看看容易被正确分类和不容易被正确分类的精灵：

　　△ 图22：正确率较高的精灵

　　上行：杰尼龟（左），比卡丘（中），口呆花（右）

　　下行：火焰鸟（左），班吉拉（中），Shedinja（右）

　　△ 图23：正确率较低的精灵

　　上行：豪力（左），菊石神（中），j2直播，洛奇亚（右）

　　下行：沙奈朵（左），饭匙蛇（中），水伊布（右）。