开发出与自动驾驶汽车硬件所具备的全部潜力相配且能充分利用之的软件仍然需要较长时间，鉴于问题的复杂性和目前以科研为导向的属性，工程开发方面的时间进度表基本已处于停滞状态。

　　一个关键的问题是，自动驾驶汽车必须在道路上有其他自动驾驶汽车以及人类驾驶员的情形下，学习如何与之协商驾驶方式（注： Chris Urmson在4月份CMU的讲座中也指出这是一个令人头疼的博弈难题）。此外，使用易出错的GPS传感器来对车辆进行高精度定位是另一个待解决的复杂问题。解决上述难题不仅需要大量的前期研发，而且还需要经过长时间的测试和验证。

　　3种类型的问题更具体地说明了软件问题。首先是物体分析（Object Analysis），即探测到物体并理解它们所代表的含义，对自动驾驶汽车至关重要。例如，该系统应该以不同的方式处理静止停放的摩托车和在路边骑自行车的人。因此，必须在物体分析阶段就捕捉到两者之间关键性的差异。

　　物体分析问题中的初步挑战是物体探测，考虑到一天中不同的时间段、环境背景和任何可能的运动，这项任务可能会变得很困难。此外，考虑到传感器所采集的各数据类型（来自激光雷达的点云数据，来自雷达的对象列表以及来自相机图像数据）之间的差异，确认物体的存在性及其类型所需的传感器融合算法在技术上实现起来是极具挑战性的。

　　第2个问题决策系统（Decision-Making Systems）的设计。为了模仿人类的决策，它们必须历经大量应用情景并进行密集且全面的“训练”。理解和标注收集的不同的场景和收集到的图像对于自动驾驶系统而言是一个运用普通方法所难以解决的问题，创建全面的、能够覆盖到自动驾驶汽车所能遇到的所有场景的“if-then”规则库是行不通的。但是，开发人员可以先构建一个“if-then”的规则数据库，然后在此基础上利用机器学习引擎来对其进行补充，因为后者能够在特定场景中进行智能推理并采取相应行动，而创建一个这样的引擎是一项非常艰巨的任务，需要完成大量的开发、测试和验证工作。

　　最后，该系统还需要一个故障安全机制（Fail-Safe Mechanism），该机制能确保在汽车发生故障时不会让车上的乘客和周围的人员陷于险地。目前尚无方法来检查每一个可能的软件状态及其所造成的结果，建立防护措施以防止最坏结果的发生同时控制车辆以使其安全地停车仍是待解决的难题。因此，冗余设计和长时间的测试工作将是必须的。

　　在实现全自动驾驶的道路上披荆斩棘

　　随着各企业推出软件包（software envelope）来尝试创建第一批全自动驾驶汽车，它们需要解决与图2中所列因素相关联的技术难题。

　　图3 自动驾驶汽车系统的组成元件

　　感知技术、定位技术以及测绘技术

　　为了完善自动驾驶汽车，参与该领域的企业正在用不同的技术路线来解决自动驾驶汽车在感知、测绘及定位等方面遇到的技术难题。

　　感知技术（Perception）：目标是以最少的测试及验证里程来达到可靠的感知水平，目前存在两种技术路线：

毫米波雷达 + 超声波雷达 + 摄像头（Radar, Sonar and Cameras）：为了感知环境中的车辆和其他物体，自动驾驶汽车将使用毫米波雷达、超声波雷达及摄像系统，该技术路线并不能在特别高的精度水平上（on a deeply granular level）对环境进行评估，但只需要较少的计算资源；

上述传感器 + 激光雷达（Lidar Augmentation）：第2种技术路线在毫米波雷达和摄像系统的基础上，还使用了激光雷达。它要求配置更强大的计算能力，但在各种环境中的鲁棒性更好，尤其是在拥挤且交通流量很大的环境。