为了用上上面的观察结果，我们一直在开发一个新的查询引擎 NoScope，其可以极大地加速视频分析查询。给定一个或一组要查询的视频流、要查询的相关目标（比如：找到上述台北路口视频流中的公交车帧）和一个目标 CNN（比如 YOLOv2，NoScope 可以输出根据 YOLOv2 得到的目标所出现的帧。但是，NoScope 比输入的 CNN 快得多：NoScope 并不是简单地运行计算成本高的目标 CNN，而是学习一系列利用了局部性的低计算成本模型，并且在任何时候都运行这些更便宜的模型。下面我们描述了两类更便宜的模型：特定于给定视频流和目标的模型（要利用特定于场景的局部性）和检查差异的模型（要利用时间局部性）。端到端地堆叠起来后，这些模型的速度可以超过原 CNN 的 100-1000 倍。

通过专用模型利用特定于场景的局部性

NoScope 可以使用专用模型（specialized models）来利用特定于场景的局部性，即被训练从特定视频流的角度检测相关目标的快速模型。今天的 CNN 已经可以识别大量目标了，其中包括猫、滑雪板或厕所。但是如果我们只想检测台北的公交车，我们就不需要关心猫、滑雪板或厕所；相反，atv，我们可以训练一个只会从台北的摄像头视频中检测公交车的模型。

为了说明，下面给出了来自 MS-COCO 数据集的真实样本。这些是我们不关心，不需要检测的：

三张来自 MS-COCO 数据集的非公交车图像样本

两张来自 MS-COCO 数据集的公交车图像样本

NoScope 的专用模型也是 CNN，但它们比一般的目标检测 CNN 要简单得多（即更浅），也更快得多。这有什么用呢？NoScope 的专用模型每秒可以处理 15000 帧，相比而言 YOLOv2 每秒仅有 80 帧。我们可以使用这些模型作为原有 CNN 的替代。

通过差异检测器利用时间局部性

NoScope 使用差异检测器（difference detector）来利用时间局部性，即被设计用来检测目标变化的快速模型。在许多视频中，标签（比如「公交车」和「无公交车」）的变化比帧变化要慢得多（比如，公交车在视频中出现了 5 秒，而该视频每秒都有 30 帧）。为了说明，下面给出了两段各 150 帧的视频，但它们的标签没有任何变化！

每段视频都有 150 帧，但标签没有变化。下图的视频没有暂停！

相比而言，今天的目标检测模型是逐帧运行的，与帧之间的实际变化无关。这种设计决策的原因是比如 YOLOv2 这样的模型是在静态图片上训练的，因此是将视频当作是图像序列处理的！因为 NoScope 可以访问特定的视频流，所以它可以训练出具有时间依存性（temporal dependency）的差异检测模型。NoScope 目前的差异检测器是使用 logistic 回归模型来计算逐帧的差异。这些检测器的运行速度非常快，在 CPU 上就能达到每秒 10 万帧。和专用模型类似，NoScope 无需调用昂贵的 CNN 就能运行这些差异检测器。

将它们放到一起

NoScope 通过一种级联（cascade）的方式将专用模型和差异检测器堆叠到了一起，即形成缩减了计算的模型的序列。如果其差异检测器确信没有任何变化，那么 NoScope 就会舍弃那一帧；否则，如果专业模型对其标签有信心，那么 NoScope 就输出该标签。而且，对于特别困难的帧，NoScope 总是可以退回到完整的 CNN。

为了配置这种级联以及确定每个模型的置信水平，NoScope 提供了一个优化器，可以在准确度和速度之间平滑地权衡。想要更快的执行速度？NoScope 将会使更少的帧通过这个端到端的级联。想要更准确的结果？NoScope 将提高用于缩减分类决策的阈值。如下图所示，最终结果在当前方法的基础上实现了 10000 倍的提速。

左图为 NoScope 的系统示意图。右图给出了一段代表视频的速度-准确度曲线