2015 年 ZestFinance 推出了一款针对小型企业和个人的借贷产品 Basix，它通过更多与财务数据不相关的信息来对每个申请人的偿还能力进行预估。目前它的服务也被多家互联网公司采用，其中包括京东、百度。

Basix 对每个申请人的分析数据多达上万条，包括申请人是否预付电话账单，他是否经常更换住所，他在线填写贷款申请信息时是否有大小写错误，他们花多长时间阅读申请信息等。这些都会作为申请人信用评级的标准。

ZestFinance 称通过数据模型发现，全部用大写字母填写表格的申请者信用风险更高。结果是填表格用大小写成了影响申请人信用的因素之一。

另一家帮科技公司评估程序员的公司 Gild 会根据他们是否经常去一家日本动漫网站来判断这个程序员的能力——原因是很多高水平的程序员去那里，于是人工智能得出了两个数据相关的结论。

这样跟之前闹得很大的用照片预测罪犯没什么区别，后者的人工智能看完一组照片以后，总结出一个规律：没穿着白领衬衫的，都是罪犯。人工智能看到的东西就那么些，它就硬找了个规律。

或者更近一些的例子，美团招聘人员说不招“黄泛区”的人。这个人后来被开除了。但当人工智能自发得出类似结论的时候，责任在谁呢？甚至，会有人知道么？

这里的一个根本原因是今天大多数人工智能做判断的过程是一个黑盒子。数据进去、结果出来，设计者根据结果调整参数。

人工智能更多的是将一个个极为复杂的个体量化成一系列可衡量的数字，并基于这些数字对个人做出判断。

计算过程中，不仅仅对外界不透明，连设计者也很难明确知道到底算法是如何得出这个结论的——就像 AlphaGo 的设计师并不理解每一步棋是怎么来的、或者考试机器人的设计师自己看不懂机器的数学演算推理过程一样。

“事实上许多算法都是个黑匣子，这使得监管者和公众不可能看见它。这是个问题，因为随着算法能力越来越强，但现在我们恰恰却缺少对算法任何形式的监督。” 欧洲一个研究技术与社会关系的学术组织互联网与人权中心的高级研究员 Ben Wagner 告诉《好奇心日报》。

Wagner 不认为这是编写算法的人心怀恶意，他说“至少我接触的科技创业公司都非常清楚黑盒子带来的问题，但他们并不知道该怎么解决。”

与此同时，更多敏感的数据正被开放给人工智能

今年 3 月，美国众议院的劳动与教育委员会通过了由共和党议员 Virginia Foxx 提出的一项关于员工健康信息的法案 HR1313，它让雇主可以获取到其雇员及其家人的健康医疗信息。

这条方案中提到，员工可自愿参加雇主提供的健康计划，接受基因测试，让雇主获取其基因信息评估健康风险。参与这个项目的员工能享受 30% 到 50% 的医保费用补贴。

支持者称这是让员工节省医疗费用开支，并提供一种更健康的生活的一种方式。

包括美国儿科协会，美国退休者协会等 70 多家机构联名写信反对该法案。美国人类遗传学会科学政策主任 Derek Scholes 称这个政策实际是在强迫员工参与这个项目，交出自己的遗传数据隐私，因为如果员工不交出自己的健康数据，代价就是由他每年实际要比提供数据的人多交 5443 美元的医保费。

在包括中国在内的大部分国家，员工体检数据都是对公司保密的。当基因数据与人工智能挂钩，被用来判断一个人未来患病的可能性，它带来的风险远比乙肝信息泄密更大。

保险公司如果将基因数据用于判断未来患病可能，atv，调整保费。基因存在缺陷的人就会需要支付更多费用，尽管他还什么事都没有，一切只是“可能性”增加了几个百分点而已。

对于家境不好的人来说，医疗成本可能决定生死。而现实是，以目前的进展，基因很可能决定医疗成本。

“现在社会管理是把每个社会成员完全原子化，把每个公民当作问题，社会管理是解决一个个问题。这是一个强化的过程。整个现代社会从 19 世纪末期 20 年代以来，尤其是全球化或者流动性趋势越来越强，这种趋势越来越明显。因为它已经不把个人当作共同体的成员了，而是当作一个一个分离的个体，社会管理或者说社会治理并不是为了社会团结和社会文化（的发展），而是成为了通过数字化的手段减少社会动荡的东西。”在谈起算法被应用到社会管理中的趋势时，吴靖教授这么说。

现在谈监管，来得及吗？