视觉元素是下一代数字体验的主要焦点，例如AR和VR工具，但音频在促进完全沉浸式交互方面也发挥着关键作用。人们听到的声音有助于传达思想，并使虚拟环境栩栩如生。

　　为了促进更逼真的AR和VR体验，Meta透露正在开发新的空间音频工具，可以响应视觉中显示的不同环境，旨在帮助行业以更快的速度实现真正的沉浸式现实。Meta的工作围绕人们期望在特定环境中体验的声音共性，以及如何将其转化为数字领域。

　　正如Meta所解释的：“无论是参加元宇宙派对，还是在客厅通过XR设备浏览家庭电影，声学都会影响相关时刻的体验。我们设想了一个人们可以戴上AR眼镜，并重新体验画面和声音都如同你站在从有利位置一样的全息记忆。或者玩家在虚拟世界中玩游戏时，不仅沉浸在画面中，还沉浸在声音中。”

　　这可能会使即将到来的元宇宙更加身临其境，并且实际上可能在体验中发挥比最初预期的更重要的作用。

　　Meta的第一代Ray-Ban Stories眼镜至少在某种程度上已经考虑到了这一点，其中包括可将声音直接传送到耳朵的露天扬声器。扬声器的放置方式无需耳塞即可实现完全沉浸式的音频。这似乎不应该起作用，但它确实有效，而且它可能已经成为该设备的一个关键卖点。

　　为了将其身临其境的音频元素提升到下一个阶段，Meta向开发人员开放了三种用于视听理解的新模型：Visual-Acoustic Matching、Visually-Informed Dereverberation，以及VisualVoice。

　　Meta表示：“我们相信，能够理解我们周遭世界的AI可以帮助释放令人兴奋的新可能性，并允许人们在AR/VR体验和交互方式受益。”Meta表示，他们相信AI将是提供真实声学质量的核心。

　　Meta已经开发了自己的自监督视听匹配模型，通过将这里的研究扩展到更多的开发人员和音频专家，可以帮助Meta构建更逼真的音频翻译工具，以进一步加强其工作。

　　正如Meta首席执行官扎克伯格所说：“获得正确的空间音频将是我们为元宇宙构建的东西中提供令人惊叹因素的事情之一。”

　　与Ray-Ban Stories中的音频元素类似，令人惊叹的因素很可能是吸引更多人购买VR头显的原因，这可能有助于迎来Meta正在构建的下一阶段的数字连接。