美国有一条高速公路穿过欧扎克山脉（Ozark Mountains），如果在这条路上开车，一味依赖数据很危险。

　　从密苏里州斯普林菲尔德到阿肯色州克拉克斯维尔，导航应用软件推荐司机走阿肯色州43号公路（Arkansas 43）。虽说这条路可能是用时最短的路线，但是GPS的算法并没有考虑对于车上拉满货的卡车司机来说很重要的因素，比如43号公路在4英里的路程海拔相差1300英尺，还有两处急转弯。之前，行驶在这条路上的18轮大卡车并不多见，但是最近两年半的时间里，路上行驶的卡车数量激增，事故数量随之增多起来。亲眼目睹事故增多的当地人认为，有人早晚会受到严重伤害，甚至丧生。

　　熟悉该地区的卡车司机们都知道，7号公路（Highway 7）是条比较安全的路线。然而，负责推荐路线的算法并不推荐7号公路。由于缺乏更广泛的洞察力，GPS只考虑了程序员们认为很重要的因素。最终，算法绘制出了一个不完整或失真的路线图，可能导致浑然不觉的司机对车辆失去控制。

　　如今，算法俨然遍布我们生活的角角落落，从歌曲推荐到信用分数，再到现在的法庭决定保释和判刑。可是，算法如何工作方面却缺乏监管和透明度。缺乏监管的这个乱象在刑事司法系统体现得尤为明显。如果没有适当的防范措施，这些工具就有可能侵犯法治，并削弱个人权益。

　　目前，美国各地的法庭和惩戒部门都在使用算法，以确定被告的“风险”大小：从某个人会犯另一种罪行的可能性，到被告会如期出庭的可能性，直播，不一而足。这些算法输出为法庭做出保释、判刑和假释等方面的决定提供了数据依据。每个工具都希望提高人类决策机制的准确性，从而可以更合理地分配有限的资源。

　　通常来说，政府部门并不自行编写算法，它们向私营企业购买算法。这常常意味着该算法是专有算法或“黑盒子”（black boxed）；也就是说，只有算法的拥有者才能看清楚软件是如何做决定的，采购者对于这方面情况的了解比较有限。目前，根本没有哪部联邦法律制定标准或者要求对这些工具进行审查，就像美国食品及药物管理局（FDA）对新药采取审查那样。

　　缺乏透明度的这个问题确实带来了严重后果。在威斯康星州诉卢米斯案（Wisconsin v. Loomis）中，被告埃里克·卢米斯（Eric Loomis）对于自己参与飞车射杀的罪名供认不讳。被关押期间，卢米斯回答了一系列问题，然后这些问题的答案输入到了Compas，这是由一家私人持股公司开发的一款风险评估工具，被威斯康星州惩戒部门所使用。主审法官最终对卢米斯判了很长的刑期，一方面正是由于这个黑盒子风险评估工具对这名被告所打的分数是“高风险”。

　　卢米斯对这个判决提出了怀疑，因为自己不被允许评估算法。去年夏天，威斯康星州最高法庭判卢米斯败诉，给出的理由是：算法输出给出的知识提供了足够的透明度。

　　由于让算法保持了隐匿性，卢米斯一案让这种工具未经核查。这是个令人担忧的先例，因为风险评估已从可以评估的算法（比如Compas），演变到不透明的神经网络。神经网络是一种旨在像人脑那样运作的深度学习算法，由于本质使然，它不可能透明。神经网络自行建立连接，而不是被明确编程。这个过程是隐匿的，atv直播，而且总是在变化，这就有可能限制法官做出完全有理有据的决定的能力，而且限制辩护律师为当事人竭力辩护的能力。

　　试想这样一种场景：辩护律师要求基于神经网络的风险评估工具的开发人员上证人席，对可能影响其当事人判刑的“高风险”分数提出怀疑。在证人席上，工程师可能会告诉法庭神经网络是如何设计的，输入了什么内容，在某件特定的案子中生成了什么样的输出。然而，工程师无法解释其软件的隐藏的决策过程。

　　有了这些事实或者说缺乏这些事实，要是法官无法理解其决策过程，又该如何认真考虑风险评估工具的有效性？上诉法庭如何知道工具是否认定：社会经济因素（与宪法相违背的输入）决定了被告对社会构成的风险？以卢米斯案为例，除了由于隐匿的决策过程而正式放弃部分责任外，法庭别无选择。

　　基本的机器学习技术或方法已经运用于司法系统。人工智能在我们法庭中不太离谱的角色为刑事司法和法律界带来了两条潜在的途径：要么盲目地任由允许技术向前进，要么暂时禁止不透明的人工智能用于刑事司法风险评估，直到落实了相应的方法和程序，以便对这类工具进行有意义的审查。