尽管 Inception-v3 拥有 25 万个参数（这已经远远少于其他模型了），但是它仍然需要模型压缩技术。这里，将过程 A 中的模型作为「教师网络」，然后从中学习到一个轻量级的「学生深度卷积神经网络」。为了训练这个模型，使用了学生网络和事实之间的损失函数，以及教师网络和学生网络的逻辑输出之间的 L2 损失。作者考虑了两种潜在的结构，第一个包含 8 个卷积层和 1 个全连接层，它与 AlexNet 类似，你可以在图 3 中看到细节。第二个网络结构包含 4 个卷积层，并在后面还跟随着 2 个感知模型和一个全连接层 (类似于 GoogleNet)，你可以在图 3 的底部看到。图 4 中描述了 4 个子模型。你可以在图 4 的解释中看到细节。

图 4：我们所用的感知模型，它包括四个子模型 (a)-(d)

参数的细节如表 1 所示。

表Ⅰ：用在子模型中的两个感知网络的参数数量

C. 深度卷积神经网络的混合和组合

在这篇论文中，通过结合这些轻量级模型提升了性能。通过平均决策，它可以以较低的成本提升性能。首先，基于最大逻辑值计算占用概率：

然后，如公式 2 所示，我们得到了最终的分类，它是在对应的占用概率下的加权和。

实验结果

作者利用这个方法解决了机器人平台中的杂草分割问题。并且这个模型在 tensorflow 中得到了实现。Adam 优化器的参数如下所示

学习率 (learning rate): γ = 1e−4, ε = 0.1

批处理大小 (batch size) :b = 60

下降率 (drop out rate) :50%.

1. 杂草分割的准确度

作者使用了公开的训练数据及「Crop/Weed Field Image Dataset (CW-FID)」，它包括 20 张训练数据和 40 张测试数据。作者还将结果与 Haug 和 Ostermann 的工作 [5] 做了比较，Haug 和 Ostermann 在特征上训练了一个随机森林。我们可以在表 2 中看到细节结果，它表明文中提出的所有深度学习方案都要好于之前提出的方法。Adapted-IV3 模型得到了最高的准确率，大约是 93.9%，然而 Haug 和 Ostermann 达到的准确率是 85.9%。

表Ⅱ：不同的模型在 CW-FID 数据集上的准确率

2. 轻量级深度卷积神经网络的混合

这里，作者还结合了多个轻量级的模型，例如 Mix-AgNet 和 Mix-MiniInception。与使用集合模型相比，MixDCNN 方法提供了 0.15% 的性能提升。对单 GPU 而言，也没有增加模型复杂度。在表Ⅱ中，可以看到，通过增加 K（模型的数量），全局性能得到了提升，但是相对性能却降低了。K=4 的 AgNet DCNNs 在模型复杂度和准确度之间是一个不错的折中。在图 5 中你可以看到可视化的结果，描述了 3 个深度卷积神经网络模型：AgNet、MixAgNet（K = 4）以及 Adapted-IV3。

图 5：三种深度学习方法的例子：红色代表杂草，atv，绿色代表作物。每一行从左到右依次是：实际结果、Agnet 模型、MiniInception 模型、Mix-AgNet（K=4）、Mix-MiniInception（K=2）以及 Adapted-IV3 模型。每一行代表一张不同的图片，最后一行代表一个失败的案例。

3. 速度和模型复杂度

表Ⅲ展示了每秒钟可以被处理的区域的数量。我们发现，模型越简单，每秒处理的区域数越多。复杂度会随着模型数量的增加而增加，这会降低每秒钟处理的区域数量。为了维持它们之间的平衡，我们选择了 K=4 时候的 Mix-AgNet 模型以及 K=2 时候的 Mix-MiniInception 模型。我们也可以发现，考虑到速度和复杂度，AgNet、Mix-AgNet 和 Mix-MiniInception 这三种方法也具有被部署到机器人平台上的潜力。

表Ⅲ：参数的数目以及每秒钟可以处理的区域的数量

结论

这篇论文提供了一个可训练被用在机器人平台上的深度卷积神经网络的新方式。论文有着全面的文献综述和清晰的图表，这可以让读者更容易地理解背景信息以及实现这个方法的细节。尽管作者并没有告诉我们他们为什么要用这种方法，但是这篇论文给我们提供了一个思考和使用深度神经网络的新方法。正如作者在论文末尾建议的一样，我们可以尝试更多的方法来提升性能，但是这篇论文的价值在于它提供了可以被接受并且应用在日常生活中的研究结果。

参考文献

[1] Bawden, Owen John. Design of a lightweight, modular robotic vehicle for the sustainable intensification of broadacre agriculture. Diss. Queensland University of Technology, 2015.

[2] Lehnert, Christopher, et al. "Autonomous sweet pepper harvesting for protected cropping systems." IEEE Robotics and Automation Letters 2.2 (2017): 872-879.

[3] Szegedy, Christian, et al. "Rethinking the inception architecture for computer vision." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

[4] Ge, ZongYuan, et al. "Fine-grained classification via mixture of deep convolutional neural networks." Applications of Computer Vision (WACV), 2016 IEEE Winter Conference on. IEEE, 2016.