公司在一份培训材料中解释说：“我们未必能告诉你每一项任务是干什么用的，但肯定都是我们认为重要的东西。你不会经常听到自己工作的成果是什么。实际上，有时候你的工作看起来就像流进黑洞一样……尽管你未必总能看到自己工作的影响，但你的工作是重要的，而且Google有很多人在非常非常仔细地进行审核。”

　　这种仔细有时候甚至到了令一些工人感到不舒服的程度。Google会将一些已经过审核的内容混进分配给广告评估师的任务当中来考察他们的表现。Google给广告评估师的一封邮件中写道：“这些测试以正常的任务出现，你会像正常工作一样收到这些题目。但是我们不会告诉哪些是测试题目……我们会利用考试分数来评估你的表现。得分很低的话可能会导致分配给你的任务终止。”

　　把已经知道答案的问题嵌入进来是众包调研的一桩常见做法。这种策略往往用来确定调研人员是不是随便乱点东西，往往被玩笑为从业者的图灵测试。

　　但Georgia Tech AI的研究人员Mark Riedl不认同这种做法：“众包工人不应该被视为是机器，相反我们需要认识到众包工人是人，对于这些人我们有着伦理道德方面的责任，在设计任务的时候应该意识到他们的尊严。”

　　当然，对于部分同事提出的这些问题，并不是所有的广告评估师都吹毛求疵。15美元的时薪仍然高于大多数城市的最小工资。一位广告评估师仍然对ZeroChaos提供的机会表示感谢：“甚至连麦当劳都拒绝我的情况下ZeroChaos却不关心我有没有犯罪背景。”多位评估师说在拿到这份工作前自己已经接近无家可归或者需要领食物救济券的地步。

　　但也有人说这种灵活性往往最终对他们并不有利，即便他们需要依赖这份工作。可以在家工作并且选择自己的工作时间算是一种特殊待遇。但据一份ZeroChaos FAQ，广告评估师被禁止同时为其他公司工作。一位前广告评估师说因为这项禁令自己无法同时打两份工，所以现在她每周也就比失业的时候多拿40美元。这样是撑不下去的。

　　人机连接

　　技术界的大公司往往都会雇用临时工参与到训练AI系统的重复性任务。一位广告评估师提到自己几年前曾经替微软评估Bing的搜索结果，这种工作的强度很大，每小时大概要审查多达80页的搜索结果。LinkedIn和Facebook也雇用人来执行类似的工作，LinkedIn主要是做数据注释，而Facebook则是评估粉丝页面的“赞助帖子”。

　　临时工作的不安全感以及普遍的人员流动性令新老员工感到不安，这些人认为Google正失去在这份工作上花费时间更多的老员工才具备的系统知识。一位前广告评估师表示：“他们把钱浪费在了培训新人上面然后又把人撵出大门。”

　　但是广告评估师的人员流失也许正好反映出让AI变得更聪明的最佳实践。人工智能研究人员和行业专家说，输入数据的人类培训师的定期轮换对于训练AI更好。AI初创企业Nara Logics的CEO Jana Eggers说：“AI需要许多看法，尤其是在类似攻击性内容方面。”尽管最高法院并未就什么是猥亵做出描述，但是“当我看到时就能做出判断”这种极限值测定依然有效。“给机器更多观察的眼睛有望得到更好的结果。”

　　但尽管AI研究人员通常同意人低落的士气未必就会导致糟糕的机器学习，但也许会产生源自其工作环境和体验的，更为微妙的影响。康奈尔大学AI教授Bart Selman说：“经常有观点认为获取大量不同输入是训练AI模型的好办法。这个作为一般指南来说是好的，但在道德判断上，众所周知，大多数群体都存在着根深蒂固的严重偏见。” Selman举例说，比如大家的普遍看法是男性在特定类型的工作方面要优于女性，反之亦然。“那么，如果你基于普通组观点或者过去的招聘决定来训练AI招聘模型，你就会得到代表一般人群观念的隐藏偏见。”而如果结果表明你主要靠一群焦虑的临时工的认知来训练AI的话，他们最终可能会把自己独特的偏见带进那些系统里面。