3D 音频技术到底难在哪儿?

　　VR 需要有 3D 音频才能产生更真实的沉浸感。Jaunt 的音频首席工程师 Adam Somers 在接受 THE VERGE 采访时这样描述：“在沉浸感这件事上面，听觉占了五成，视觉占剩下五成。”

　　Jaunt 是美国著名的 VR 制作公司，去年得到上海华人文化产业基金(CMC)与迪斯尼的 6500 万美金投资。

　　然而，双耳录音技术本身不能支持收听的时候转动头部。玩家在玩 VR 游戏的时候，如果有声音从后面传来，人的本能反应是转头向后看。这时候如果声音继续在你的前方，那么会大大降低沉浸感。

　　另一种还原真实声场的技术也不能支持收听的时候转动头部，叫环绕立体声 ( surround audio ) 。环绕立体声用多个物理扬声器来打造一个 360 度的声场，来自不同方向的声音通过不同的音箱/扬声器来播放。该项技术最著名的公司是 DTS 和杜比(Dolby)。

　　比如一家环绕立体声影院，它会在观众的周围放置很多音箱/扬声器。如果画面左边出现了爆炸，那么左边的音箱会发出声响，而不是右边。由于播放器的位置固定，听众只有在固定的点，才能听到模拟得最真实的声场。

　　如何解决这个问题?计算成为了重中之重。

　　在双耳录音技术取到的声音之后，还原 HRTF，然后进行计算，把各个方向的 HRTF 还原，才能合成一套随着转头、位置移动声场自然发生变化的空间音频。

　　在这三个环节中——收音、录音;计算、渲染 ( processing, rendering ) ;回放——技术壁垒最强的地方在于计算环节。

　　核心算法是考验各家空间音频公司的能力指标。Two Big Ears 的公司广告语说明了一切："We do mathematics so you can focus on being awesome."(我们做数学，你来好好做酷的事情。)这家位于爱尔兰的公司目前在空间音频技术上处于领先地位。

　　有些团队则为了减轻计算量，用了一些比较笨的办法。比如 3dio，他们创造出收音设备，可以尽可能地在同一时间录到各个方向的 HRTF 。

　　通常，三个指标可以用来判断一家公司 3D 音频核心算法技术水平：

　　1、Localization : 指的是声音的定位。环绕立体声对于声音的平面 360 度有较好的模拟效果，而对于上下 360 度则难以模拟。VR 音频的难点也在于做出上下 360 度的声音模拟。能做到上下逼真的则技术更为先进。

　　2、Propagation : 声音在封闭空间中，不是只传输一次，而是有无数次的反射(bounce back)，我们可以用回音来理解。Propagation 用来描述是否能让用户感觉到自己的确在一个真实的空间中，这种真实感越强越好。

　　3、Occlusion : 声音在传输过程中，如果中间有一个障碍物，这个障碍物会对声音的传播产生影响。如果一个 VR 音频技术可以对障碍物对于声音的影响模拟得很好，则是一个做得好的 VR 音频。

　　除去以上三点，目前空间音频最前沿的解决方案是 Ambisonic 技术。于是，能不能做 Ambisonic 也是判断一家公司技术高低的指标。

　　Ambisonic 同样是一种声场模拟手段，但它更考验团队物理、数学和计算机的综合能力。如果我们把空间中某一个接收声音的位置想象成一个充着气的气球，那么空间中各处传来的声波会对这只气球表面产生作用力。

　　Ambisonic 利用这个简单道理，在空间中摆放一堆扬声器，来模拟对应现实情况下各处声波对这只气球的作用力，然后计算，还原 HRTF。

　　通过 Ambisonic 得到的音频数据，是最全面的数据，它可以降解到任何其他音频格式。打个比方，Ambisonic 如果是图像中的 jpg , 则杜比 7.0 、杜比 5.1 等等音频格式相当于像素。

　　如何评价 3D 音频技术的行业现状?

　　3D 音频技术势必会改变所有的应用场景。整个空间音频产业有两个机会：

　　第一个机会是做音频引擎 (audio engine)，其核心在于 HRTF 函数、Propagation 等技术，即如何在游戏里尽可能逼真地还原出立体声来。目前简单的做法是，在 VR 游戏中放置不同的虚拟音箱，并配合 Oculus Audio SDK ( 实现了 HRTF 以及其他效果，包括 reflection 等)，就可以实现空间音频。

　　而不简单的做法有很多，需要团队具有强大的计算能力，成立于 2013 年爱丁堡的 Two Big Ears 是其中翘楚。他们所做的 plug-in 可能是目前行业中技术最好的 plug-in 之一。

　　第二个机会是实现 3D 音频在现实生活中的运用，即怎么配合全景视频录制带多个角度的 VR 音频。这样用户观看全景视频的时候如果转头，声音会进行动态调整。就应用场景来说，对于虚拟演唱会，3D音频技术尤其重要。

　　从目前整个全球市场来考量，3D 音频由于其自身技术难度，还没有出现提供完美解决方案的公司与团队，大牌音频公司 DTS 所做的技术已经比较接近，但最终版本仍没有公之于众，并且面临着价格极高的可能性。