双耳录音技术在这个世纪中一直处于缓慢的速度发展,原因在于,没有强大的产业需求。一直等到这一波 VR 热潮的来临,它才重上舞台。 由于 Oculus Rift , 索尼 Morpheus 以及三星 Gear 带来的 VR 普及,3D 音频技术迎来了它的 “文艺复兴” ——于是它又被称作了 VR 音频。 3D 音频技术到底难在哪儿? VR 需要有 3D 音频才能产生更真实的沉浸感。Jaunt 的音频首席工程师 Adam Somers 在接受 THE VERGE 采访时这样描述:“在沉浸感这件事上面,听觉占了五成,视觉占剩下五成。” Jaunt 是美国著名的 VR 制作公司,去年得到上海华人文化产业基金(CMC)与迪斯尼的 6500 万美金投资。 然而,双耳录音技术本身不能支持收听的时候转动头部。玩家在玩 VR 游戏的时候,如果有声音从后面传来,人的本能反应是转头向后看。这时候如果声音继续在你的前方,那么会大大降低沉浸感。 另一种还原真实声场的技术也不能支持收听的时候转动头部,叫环绕立体声 ( surround audio ) 。环绕立体声用多个物理扬声器来打造一个 360 度的声场,来自不同方向的声音通过不同的音箱/扬声器来播放。该项技术最著名的公司是 DTS 和杜比(Dolby)。 比如一家环绕立体声影院,它会在观众的周围放置很多音箱/扬声器。如果画面左边出现了爆炸,那么左边的音箱会发出声响,而不是右边。由于播放器的位置固定,听众只有在固定的点,才能听到模拟得最真实的声场。
真正的沉浸体验,来自于高中低音频在空间内全方位的还原,即以人头为中心收录一个球形内所有角度的声音,并进行还原。 如何解决沉浸体验这个问题? 计算成为了重中之重。 在双耳录音技术取到的声音之后,还原 HRTF,然后进行计算,把各个方向的 HRTF 还原,才能合成一套随着转头、位置移动声场自然发生变化的空间音频。 在这三个环节中——收音、录音;计算、渲染 ( processing, rendering ) ;回放——技术壁垒最强的地方在于计算环节。 核心算法是考验各家空间音频公司的能力指标。Two Big Ears 的公司广告语说明了一切:"We do mathematics so you can focus on being awesome."(我们做数学,你来好好做酷的事情。)这家位于爱尔兰的公司目前在空间音频技术上处于领先地位。 有些团队则为了减轻计算量,用了一些比较笨的办法。比如 3dio,他们创造出收音设备,可以尽可能地在同一时间录到各个方向的 HRTF 。
3dio 公司生产的四对仿真人耳的收音设备
The Verge 在短片 Hear New York in 3D Audio 中展示他们所用的收音设备——仿真人耳,这个收音设备能够模拟声音在耳朵这种独特物理结构下的的传输过程,进而重现纽约街头的实景声音。 通常,三个指标可以用来判断一家公司 3D 音频核心算法技术水平: 1. Localization: 指的是声音的定位。环绕立体声对于声音的平面 360 度有较好的模拟效果,而对于上下 360 度则难以模拟。VR 音频的难点也在于做出上下 360 度的声音模拟。能做到上下逼真的则技术更为先进。 2. Propagation: 声音在封闭空间中,不是只传输一次,而是有无数次的反射(bounce back),我们可以用回音来理解。Propagation 用来描述是否能让用户感觉到自己的确在一个真实的空间中,这种真实感越强越好。 3. Occlusion: 声音在传输过程中,如果中间有一个障碍物,这个障碍物会对声音的传播产生影响。如果一个 VR 音频技术可以对障碍物对于声音的影响模拟得很好,则是一个做得好的 VR 音频。 除去以上三点, 目前空间音频最前沿的解决方案是 Ambisonic 技术。于是,能不能做 Ambisonic 也是判断一家公司技术高低的指标。 (责任编辑:本港台直播) |