王小新 编译自 Medium

　　量子位 出品 | 公众号 QbitAI

　　找到马路上的车道线，对于人类来说非常容易，但对计算机来说，一点阴影、反光、道路颜色的微小变化、或者车道线被部分遮挡，都会带来很大的困难。

　　正在Udacity学习自动驾驶课程的Michael Virgo写了两篇博客文章，介绍了如何构建检测模型。

　　以下内容编译自他的文章：

　　在Udacity无人车纳米学位第一学期课程的五个项目中，有两个是关于车道检测的。

　　其中第一个项目介绍了一些基本的计算机视觉技术，如Canny边缘检测。

　　图1：Canny边缘检测

　　第二个项目深入介绍了一种方法，称为透视变换（perspective transformation），能将图像中的某些点延伸到目标位置。根据透视原理，车辆视角拍摄的照片上，车道线会在远方聚拢；而进行变换之后，我们会得到一张鸟瞰图。

　　图2：透视变换前后的图像

　　在遍历图像时，如暗色的道路变为亮色的车道线时，像素值会变化。在透视变换前，利用梯度和颜色阈值得到一张二值图像，当像素值高于阈值时设置为1。在透视变换后，可在该图像上运行滑动窗口，来计算特定车道线的多项式拟合曲线。

　　图3：阈值为S的二值图像

　　图4：原二值图像和透视变换后的二值图像

　　图5：应用滑动窗口的二值图像和输出结果

　　这种技术效果看起来不错，但实际存在很多限制。首先，透视变换操作会对相机有一些具体的要求，在变换前需要调正图像，而且摄像机的安装和道路本身的倾斜都会影响变换效果。其次，各种梯度和颜色阈值只在小部分情况下适用，故前面提到的计算机识别车道线的各种问题在这里变得更加突出。最后，这种技术处理起来很慢：实现车道检测功能的程序大约每秒能处理4.5帧（FPS），而汽车摄像头的帧数可能会在30 FPS或以上。

　　图6：车道检测出错的例子

　　我已经成功地应用深度学习技术完成了这两个车道检测项目，接下来我将对项目实现过程进行详细介绍。

　　创建数据集

　　虽然目前有大量用于训练自动驾驶技术的数据集产生，但大多数都没有对图像中的车道进行标注。我决定创建一个新的数据集，这是最关键的也是最耗时的一部分。为训练深层神经网络而针对性地创建新数据集，也是一个有趣且有意义的挑战。

　　收集数据是很容易的。在我住处的周围，有很多不同类型的道路可以开车去收集数据。根据我以往的项目经验，一个各类数据平衡的数据集非常重要。我收集了高速公路、辅路、盘山路、夜晚和雨天的数据。在这个过程中，我利用手机拍摄了超过21,000帧视频图像。

　　在提取出所有图片帧后，开奖，我注意到了一个问题：在亮度高且开车速度较慢时视频中的图像质量较高，在高速公路夜间驾驶和雨中驾驶时视频质量较为模糊，且这两种情景下的图像都存在很多问题。为了神经网络能更好地学习相关信息，我不得不检查和筛选每张图像。最终，训练集的图片数量减少到14,000张，但仍然存在一些轻度模糊的图像，希望不影响车道检测的效果。

　　图7：一张被删除掉的模糊图像，但是车道检测模型在该图像上的实际效果很好。

　　为了标注数据集，我用了自己原来做过的一个计算机视觉算法，不是在输出图片上标注预测的车道线位置，而是输出六个多项式系数，以二次函数Ax2+Bx+C的形式来描述这两条车道线。