我们设计卷积神经网络架构的灵感来自于 NVIDIA 的论文《用于自动驾驶汽车的端到端学习（End to End Learning for Self-Driving Cars）》。我们的模型和 NVIDIA 的模型的主要区别是我们在每个卷积层之后又使用了最大池化（MaxPooling）层来减少训练时间。有关我们的网络架构的更多详细信息，请参见下图。

训练

即使在对训练图像进行裁剪和调整（所有图像都进行了增强）之后，训练数据集还是非常大，所以不能将它们完全存于主存。因此，我们使用 Keras 库的 fit_generatorAPI 来训练我们的模型。

我们创建了两个生成器（generator），即：

train_gen = helper.generate_next_batch()

validation_gen = helper.generate_next_batch()

train_gen和 validation_gen的批量规模是 64。我们在每个训练阶段使用 20032 张图像。应当注意，我们现在所说的图像是经过上文中所提及数据处理管道处理后生成的。除此之外，我们还使用 6400 张图片（同样也是数据处理管道处理过后的）进行验证。我们使用 Adam优化器和 1e-4的学习速率。最后，当涉及到选择训练代数（training epoch）值的时候，我们尝试了几种不同的数据，如 5、8、10、25 和 50。然而，直播，我们发现 8 在训练和验证轨道上的效果都很好。

结果

在项目的初始阶段，我使用了我自己生成的数据集。该数据集很小，并且是使用笔记本电脑键盘在导航汽车时记录的。然而，使用该数据集构建的模型不足以在模拟器中自主导航汽车。后来我使用了 Udacity 发布的数据集。使用该数据集开发的模型（在增强数据的帮助下）在两个轨道上的工作情况都很好，如以下视频所示。

训练轨道

验证轨道

总结和未来的方向

在这个项目中，我们对自动驾驶汽车上下文中的回归问题进行了研究。在初始阶段，我们主要致力于寻找合适的网络架构，开奖，并使用我们自己的数据集训练模型。根据均方误差（MSE）显示，我们的模型运行良好。然而，当我们使用模拟器测试模型时，它没有像预期的那样执行。因此，这清楚地表明了，MSE 不是一个评估该项目的性能的优质的指标。

在项目的下一阶段中，我们开始使用一个新的数据集（实际上，它是由 Udacity 发布的数据集）。同时，在构建我们的最终模型时，我们没有完全依赖于 MSE。此外，我们使用相对较少的训练代数（即 8 个阶段）。数据扩增和新的数据集的工作效果令人惊讶，我们的最终模型在了两个轨道上都表现出了出色的性能。

当谈到一些延伸的事情和未来的方向时，我想强调以下几点：

在真实的道路条件下训练模型。为此，我们可能需要找到一个新的模拟器。

尝试其他可能的数据增强技术（data augmentation technique）。

当我们驾驶汽车时，我们的一系列行为比如改变方向盘的角度和踩刹车不仅仅基于即时的驾驶决策。事实上，驾驶决策是基于当前的交通/道路状况在短暂的几秒钟发生的。因此，使用循环神经网络（RNN）模型（如 LSTM 和 GRU）来执行这个问题会非常有趣。

最后，训练（深度）强化代理（reinforcement agent）也将是一个有趣的附加项目。

©本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]