然而在今年三月份，Google 在受到广告客户的抵制以后发送了一封邮件给评估员们，要求他们暂时放弃其他工作，先处理「高优先级评估项目」。这个新的方案意味着他们几乎要完全专注在 YouTube 上，j2直播，他们要把所有 YouTube 视频都梳理一遍，找出广告客户反感的内容。「这是一个巨大的变化。」一位评估员说道。

　　据评论员们所说，他们庞大的工作量导致在工作时，比起准确性他们会更注重效率和速度。在一些情况下，Google 要求他们在不到两分钟的时间里检查长达数小时的视频内容。在匿名的论坛上，这些评估员相互交流节省时间的方法——比如，查看饶舌音乐视频的歌词来快速查找咒骂性的语言，或者 10 秒 10 秒地快进看一个视频片段，这会比完全看完整个视频快很多。Google 给他们弄了一个计时器来监视他们在每个视频上花了多少的时间。虽然这种时间要求并不是硬性的，但评估者说计时器给他们增添了一层压力。「我很担心如果我在一连串的视频上耽误过多的时间，我会因此而被炒鱿鱼。」一位评估员对《连线》如是说。

　　广告评估员不只是简单地把视频标记为不适。Google 要求他们对视频的标题和内容进行细致的评估和分类。比如，包含像「亵渎」、「仇恨言论」以及「其他」等「不恰当的语言」，又或者「暴力」分类下包括「恐怖主义」、「战争和冲突」、「死亡和悲剧」以及「其他」等分类，同时还有「毒品」和「性/裸露」（包含「虐待」、「裸体」和「其他」等下级标题）。该系统还为广告评估员提供了「其他敏感内容」的选项——假如说，有人分享了极端的政治观点。（AdAge 最近报道说，Google 现在支持客户选择是否要避免在包含「性暗示」、「亵渎和粗俗语言」和「危言耸听」的内容上显示广告。）

　　评估员们说，有些内容不适合已有的分类。在这种情况下，评估员会给这些内容标上「不可评估」的标签。一位在任的评估员说他不得不评估一场西班牙语的饶舌大战。「我把它分类为『不可评估』，因为它是个外语视频。」他这么告诉《连线》。「我同时也评论说这看起来像是个人们用外语互相侮辱的视频，但我不确定他们是否在说脏话。」（从最近的广告评估的职位招聘来看，Google 正在优先聘用双语评估员。员工们也可以在听不懂视频语言时选择相应的选项。）

　　视频内容不堪入目

　　多位评估员表示，他们被要求观看的视频里会有一些触目惊心的内容。「有人在开卡车时尝试自杀，」一个评估员说道，「那个人把卡车发动了，然后下车对着自己的脑袋开了一枪。」在广告评估员经常浏览的论坛上，匿名发帖者说他们已经看了许多对妇女、儿童以及动物施暴的视频。几个帖子上还说他们需要在连续观看这些视频后休息一下。广告评估员说他们不知道 Google 怎样选择需要审查的视频，他们在评估视频之前只能看到视频的标题和缩略图，并没有评估的理由。除此之外，还有一些人们谈论游戏、政治以及阴谋论的视频也需要评估员们观看审查。

　　总而言之，从 Google 对 YouTube 网站内容审查的范围以及审查工作的细致可以看出，在处理广告投放的问题时，Google 仍然需要人力的帮助。「我们有许多数据来源，但最重要的来源之一就是你们这些员工。」Google 在给评估员的工作描述文件中这么说道。但是，只有人工智能才能解决 YouTube 如此大的体量，正如该公司的高管们一遍又一遍强调的，在 Google 的人工智能——或者其他任何一家的——足够聪明之前，这些令人反感的内容还是得依靠人力来进行辨别和标识。

　　Google 的发言人 Chi HeaCho 说道：「一直以来，我们都在依靠科技和人力的结合来分析已被标识的内容，因为要理解视频中的信息是非常主观的。最近我们聘用了许多评估员来加速评估。这些评估结果将会帮助改进我们的机器算法。」

　　评估员上哪招？

　　广告质量评估的项目始建于 2004 年。它最初是模仿 Google 的搜索质量评估项目建立的。早期它被用于 Google 的核心广告项目：AdWords 和 AdSense，前者可以生成与搜索结果相符的广告，后者则是在其他网站上分发广告。最初雇佣广告评估员的代理机构是 ABE 公司，他们给评估员开出的薪水是每小时 20 美元。评估员可以全职工作甚至加班。到了 2006 年，WorkForceLogic 收购了 ABE，这之后评估员的工作待遇就没那么好了。一家叫做 ZeroChaos 的公司又在 2012 年收购了 WorkForceLogic，并接管了广告评估员。