嘈杂的世界：人类的耳朵能一次捕获许多声音流，部分归功于其特殊的形状。一条流是指从单个源（如狗）发出的所有声波。所有流组合在一起，就构成了一个听觉场景（吠叫+警报+说话）。

许多流放在一起——如曲棍球比赛的呐喊声中朋友的说话——构成了 Bregman 所谓的「听觉场景（auditory scene）」。如果同时有在相同频带（frequency band）的声音，那么场景中最响亮的声音会超过其它声音，这种原理称为听觉掩蔽（auditory masking）。例如，如果屋顶上有下雨的声音，人们可能就不会注意到房间角落时钟的滴答声。这个原理和其它一些原理已经被应用到了 MP3 文件压缩技术上——能使文件大小压缩到原始大小的十分之一——它的原理是消除被掩蔽的声音（如滴答作响的时钟）而不被用户注意到。

回想 Bregman 的研究，我们想知道是否可以构建一个滤波器来确定一个声音流在特定频带内的某一时刻是否支配其它声音流。研究声音感知（sound perception）的心理声学家（Psychoacoustician）将人类听力范围平均划分为 20 赫兹至 20000 赫兹间的 20 多个频带。我们想要滤波器来告诉我们在某时刻这些频带内的包含语音或噪声的声音流哪个更强，直播，这是分离两者的第一步。

2001 年，我的实验室是第一个设计这种滤波器的实验室，它将声音流标记为语音或噪音。我们可以基于一些区别特征（如振幅（响度）、谐波结构（音调的特定排列）和开始（onset）（特定声音开始的时间））在滤波器上开发机器学习程序，用来区别语音和其它声音。

这个原始的滤波器是理想的二进制掩码（binary mask）。它在称为时频单元的声音段中标记语音和噪音，时频单元用来指定特定频带内的特定短暂间隔。滤波器分析嘈杂语音样本中的每个时频单元，并将每个标记为 1 或 0。如果「目标」声音（语音）比噪声更大，则记录 1，如果目标声音比噪声小，则记录 0。结果是 1 和 0 的集合，用来表示样本内噪声或语音哪个占主导地位。然后，滤波器删除所有标记为 0 的单元，并将那些得分为 1 的单元重新组合成语音。为了能从有噪声的音频中挑出语音并重新组合成可理解的句子，必须将一定百分比的时频单元标记为 1。

我们于 2006 年与俄亥俄州的美国空军研究实验室（U.S. Air Force Research Laboratory）合作测试理想的二进制掩码。大约在同一时间，来自纽约雪城大学的一个团队独立评估了理想的二进制掩码。在这些试验中，滤波器能帮助患有听力障碍的人以及具有正常听力的听众更好地理解混合噪声的语句。

从基础上说，我们创建了一个实验室环境下完美无瑕的语音滤波器。但这个滤波器的优势在现实中并不成立。设计上，我们分别提供了语音和噪声的样本训练，然后用混合的相同样本进行测试。因为它已知答案（这就是为什么它被称为「理想」），滤波器知道什么时候语音比背景噪声更强。一个实际工作的滤波器必须完全靠自己、一边听一边处理地将一个空间中的噪声和语音分离开。

听：照片拍摄于 2013 年，一个基于深度神经网络的语音分离机器学习程序正由俄亥俄州立大学的（从左到右）Sarah Yoho、DeLiang Wang、Eric Healy 和 Yuxuan Wang 测试。

不管怎样，对于听力受损的听众和具有正常听力的人来说，理想的二进制掩码显著地改善了他们的语音理解能力，这具有深刻的意义。它表明监督学习的分类技术，作为一种分离语音和噪声的方式，可以用来近似理想的二进制掩码。实际上，通过完成练习、接收反馈、绘制和从经验吸取教训，机器以分类的方式模仿人类学习。这本质上就是人类幼年学习将苹果区分于橘子的过程。

在接下来的几年中，我的实验室第一次尝试通过分类近似理想的二进制掩码。大约在我们开发原始分类器的同一时间，在匹兹堡的卡内基梅隆大学的一个小组也在通过机器学习算法分类时频单元，但他们的目的不同：提高自动语音识别。后来，德克萨斯大学达拉斯分校的一个由 Philipos Loizou 领导的小组使用了一个不同的分类方法，成为第一个为依靠单耳（相对于双耳）具有正常听力的人改善语言清晰度的团队。