在百度上搜索 “VR 寒冬” 有 1,660,000 个结果。 《资本变脸:6 个月,VR 从狂欢到惨淡》(极客公园, 2016 年 09 月 07 日),《吸引了无数资本和创业者的 VR 行业,似乎已进入寒冬》(中国企业家,2016 年 08 月 26 日),《 VR 创业公司的寒冬来了?听听资本大咖怎么说!》(网易新闻,2016 年 05 月 27日),《小心被套! VR 将迎来寒冬》(搜狐新闻,2016 年 05 月 11 日)…… 人们犹记得 2015 年下半年到 2016 年年初的 VR 热:从创业者到投资人,大家都对 VR 有着无限的热情与希望。而从计算机背景出生转行做 VR 的人真不在少数:他们正是看准了这块 “热土”, 从大公司走出,一头钻进 VR 行业。 行业缺少优质标的,关键性技术节点远未突破,VR 如同一个牙牙学语的婴儿,尚在襁褓之中,远未成熟。与其说 VR 凛冬已到,不如说之前的泡沫正在合理地被挤破。 这里的 “关键性技术节点” 其中之一,就是空间音频技术。在今天,人们更愿意叫它 3D 音频。
苹果音乐和 VR 工作室 Vrse 联手为 U2 乐队制作了一段 VR 音乐视频《Song for Someone》。图为 MV 片段中 U2 在空无一人的多伦多体育场的演唱。 正如著名 VR 制作公司 Jaunt 的音频首席工程师亚当·桑默(Adam Somers)说的:“(在 VR 这件事上面),听觉占了五成,视觉占剩下五成。” 听觉决定了人类对空间的定位、对物体距离的感知等等。视觉给出一个线索,听觉则去证实这个线索是否真实存在。如果少了视觉的沉浸感,那么一切画面的真实性就荡然无存。不解决听觉问题,虚拟现实就不能成为虚拟现实。可以这么说,3D 音频决定了我们念叨着的 VR 时代是否真正到来。 首先科普一下3D音频 什么是 3D 音频?简单来说,3D 音频是对声音最逼真的模拟技术,能让听众完全还原到与现场相似的声场。类似的叫法还有全景声方案、Immersive Audio(沉浸式音频)。你能到完全听到逼真到 “现实” 的声音,而不是 “现实主义” 的。 目前世界范围内最成熟的空间音频制作公司之一,VisiSonics 的创始人之一拉玛尼 · 杜瑞斯沃米(Ramani Duraiswami)有一句话:“当你听到的声音是极度真实的时候,耳机就消失了。” 人耳对声音信号有一套自己的分析系统,来得以对声音进行分析与定位。从空间任意一点传到人耳(鼓膜前)的信号都可以用一个滤波系统来描述,音源+滤波器(传递函数)得到的就是声音到达两耳鼓膜前的信号。
HRTF 图示 人耳对声音信号有一套自己的分析系统,来得以对声音进行分析与定位。 我们不必关心声音是如何传递到双耳的,而只需要知道:音源与到达我们双耳之前的信号是有差别的;并且我们的左耳和右耳听到的声音是不一样的。这可能是源于我们的进化,视觉没有办法在黑夜中定位,而耳朵可以通过左右耳的声音不同,进行定位与防御。 这个滤波器(传递函数)叫 HRTF ( head-related transfer function )。如果我们有空间所有方位到双耳的滤波器组,就能得到一个滤波矩阵,从而还原来自整个空间方位的声音信号。 HRTF 是极具个人性的。每个人成长中都会形成一套自己对听力的感知。并且,我们每个人的头部大小不一样、耳间距不一样,耳朵的轮廓、里面的旋涡状也不一样。加上,我们在成长当中养成了自己独特的听力习惯。可以这么说,每个人听到的同样物体发出的声音,其实都有细微差别。 如何还原人耳真实听到的声音? 科学家对此的探索不是今天的新事。在将近一个世纪之前,1933 年,AT&T 贝尔实验室就把这项技术带到了芝加哥世博会上。这家公司的人声研究部做了一个机械化的仿真人头——他们把这个假人取名叫 “Oscar”。Oscar 的耳朵里装上了两个麦克风,j2直播,坐在展示房间中,录取周围的声音。Oscar 听到什么,他就能录到什么。 AT&T 贝尔实验室提供的解决方案叫做双耳录音技术(Binaural Audio)。 双耳录音技术模拟人类真正的头部的形状、左右耳的耳间距,可以收录到近乎于真正的人类听到的声音。这是一种有效的“笨方法”,物理层面上即还原了 HRTF。沿着这条路径,德国麦克风公司纽曼 (Neumann) 在 1973 年到 1992 年间,连续在双耳录音技术上做出了各种突破——更好的收音设备、把麦克风放置于仿真假人耳内鼓膜上等等。
1933年,AT&T实验室的双耳录音技术仿真人,Oscar (责任编辑:本港台直播) |