参与：Jane W、杨旋、吴攀

本文作者汪德亮（DeLiang Wang）是美国俄亥俄州立大学教授、感知与神经动力学实验室的主任、IEEE Fellow。主要致力于机器感知和信号处理领域的研究，在听视觉处理的神经计算研究方面也取得了重大成果。汪教授也是大象声科的联合创始人兼 CTO。

当我离开家去上大学时，我的母亲开始失去她的听力。我回家分享我学到的东西，她会侧身倾听。很快发展到如果同时有多人说话她将很难与人对话。现在，即使有了助听器，她仍然需要努力分辨每句话的声音。当我的家人来用晚餐时，她仍然央求我们轮流和她说话。

我母亲的艰难处境也是助听器制造商所面临的一个经典问题。人类听觉系统能自然地在嘈杂的房间中分辨声音，但是制造一个能模仿这种能力的助听器已经困扰了信号处理专家、人工智能专家和听力学家陷入数十年。1953 年，英国认知科学家 Colin Cherry 首次将这称为「鸡尾酒会问题（cocktail party problem）」。

六十多年后，在需要助听器的人群中，只有不到 25％的人真正使用了助听器。令这些潜在用户犹豫的最大问题是助听器并不能区分同时发生的声音，如人的语音和经过的汽车的声音。助听器同时将两者音量调大，产生乱七八糟的音调。

现在是我们解决这个问题的时候了。为了给助听器佩戴者提供更好的体验，最近，在哥伦布市的俄亥俄州立大学的实验室将基于深度神经网络的机器学习应用到了分离声音的任务了。我们测试了多个版本的数字滤波器，它们不仅可以放大声音，还可以隔离背景噪声和自动调整每种声音的音量。

我们相信这种方法最终可以恢复听力受损的人的理解能力，以达到甚至超过正常人的听力。事实上，我们的一个早期模型将受试者理解被噪声掩盖的语音单词的能力从 10％提高到 90％。因为听者理解含义不需要听清短语中的每个单词，这种改进通常意味着能否成功能理解一个句子。

没有更好的助听器，人们的听力将无法得到保障。世界卫生组织估计，有 15％的成年人（或大约 7.66 亿人）患有听力受损。随着人口增长，这一数字还将继续增大；而且在成年人群中，年纪越大的人听力受损者所占的比例也越大。同时先进助听器的潜在市场不仅仅限于有听力受损的人。开发人员可以使用该技术来改进智能手机的语音识别功能。雇主们可以帮助工人降低嘈杂的工厂车间带来的噪音，军队可以为士兵们装备设备使他们能够在战争的混乱中听到彼此。

这一切都是巨大的潜在市场。根据在印度浦那市的市场研究公司 MarketsandMarkets 统计，现今 60 亿美元的全球助听器产业预计将以 6％的年增长率增长，这一趋势将持续到 2020 年。但是要满足所有新客户的要求，这意味着要寻找到一个能够解决鸡尾酒会问题的万全解决方法。终于，深度神经网络为前进的道路指明了方向。

Clean Speech：为了将语音与噪声分离，机器学习程序将嘈杂的语音样本分解成被称作时频单元（time-frequency unit）的元素集合。下一步，它分析这些单元来提取区分语音与其它声音的 85 个特征。然后，该程序将特征传入经过训练的深度神经网络中，基于相似样本学习的经验，这个网络能够区分时频单元是否为语音。最后，该程序使用数字滤波器来过滤所有非语音单元，仅分离保留语音部分。

几十年来，电气和计算机工程师尝试通过信号处理实现语音分离，但是均以失败告终。最流行的方法是使用语音活动检测器（voice-activity detector）来识别人语音间的间隙。在该方法中，系统把那些间隙中捕获的声音指定为「噪音」。然后，算法从原始记录中减去噪声，在理想状态下可以留下无噪声的语音。

不幸的是，这种称为谱减法（spectral subtraction）的语音增强算法是臭名昭着的，它要么会去除过多的语音，要么只去除微量的噪音。往往结果是一段不悦耳的合成音（称为音乐噪声（musical noise）），使音频听起来好像是在水下录制的。该问题是如此严重，以至于经过多年的发展，这种方法仍无法提高人们在嘈杂环境中识别语音的能力。

我意识到我们必须采取不同的方法。我们从加拿大蒙特利尔麦吉尔大学心理学家 Albert Bregman 的一个理论开始，他在 1990 年提出人类听觉系统将声音组织成不同的流（stream）。一条流本质上对应一个源（如附近朋友）发出的声音。每个声音流在音高、音量和方向都是独特的。