VR幕后鲜为人知的关键技术:虚拟环绕声

发布时间:2016-02-24 阅读量:1565 来源: 我爱方案网 作者:

【导读】VR还做不到对现实世界感觉的全面模拟,但在现有的技术条件下的视听体验已经模拟的相当到位了。注意这个“视听”二字,与VR在视觉和内容的进步方面取得的关注来说,VR的听觉体验却少有人关注,事实上要实现像真实世界里那样逼真的听觉体验,同样不是一件容易的事。
 
双声道完全不够用了!
 
双声道是音频领域的一项革命性的进步,它的出现让用户从耳机/扬声器中听到的声音的“场”从一个单薄的“点”扩宽到了一个“面”,通过两个声道发出的音量和音色细节与播放出来的时间的细微差距,已经可以分辨出一束声音来自左边还是右边,我们现在听到的大多数音乐都是基于这种技术制作的。而在欣赏音乐和大多数电影的时候,双声道音频已经能给予我们需要的足够的空间感和立体感。
 
传统音乐只需要提供两个方向的声音来源即可营造足够的立体感
 
但是当运用在VR上的时候,情况发生了变化:VR需要360度全方位的模拟一个虚拟的世界,在这个世界里声音当然不可能是只来自于用户的左边和右边的。想象一下,如果你处在一个看起来一切都很像真实世界的地方,但你听到的声音只会从左边或右边传来,那会是一件多荒谬的事,视觉上营造的逼真观感会被听觉上的异样毁得荡然无存。VR迫切需要一项更加先进的技术来给听众提供更逼真的听觉体验。
 
彼时仍然庞大的环绕声设备
 
当然,这项技术是存在的。在VR技术被首次提出的20世纪80年代,已经有许多高级影院和一些家庭用上了这项被称为“环绕声”的技术,环绕声的原理其实同样比较简单粗暴:两个扬声器不够,那就多加几个啊。这样音频差异的发挥空间就更加灵活了。可以在音频上给观众以比双声道音响逼真得多的体验。
 
5.1声道是环绕声的一个代表性标准
 
但那时的环绕声虽然在实现原理上不算困难,录制音源却是非常麻烦且困难的。所以音源的稀少导致这项技术一直未能广泛普及,成本居高不下。并且在大空间内放置多个音响是很容易实现的。但VR的要求明显更高:至少要在一个能戴在头上的设备上实现这个效果。20世纪90年代后期是一个科技爆炸性发展的时代。那个年代的VR研究者们应该是相当乐观,认为符合他们要求的技术很快就会出现。事实上他们确实没有估计错。
 
虚拟环绕声的登场
 
或许在VR最初的设计者的设想中,最终声音的模拟立体化是靠头盔内的数组微型扬声器来实现的,他们或许没想到最终的技术竟然可以实现在任何一副只有两个音响的普通耳机上,都能实现真正的环绕声效果。这就是虚拟环绕声技术了。要说明它的实现方式,首先还需要简单讲述一下人耳的工作原理:
 
人耳只有两个,但却能在所有角度上大概分辨出声音到底来自于哪个方向。这是因为人对声音音源的定位方法非常复杂,其由以下效应组成:
 
1.简单的“左-右”信息可以通过相对电平的不同和每只耳朵接收到的不同而获得。
2.对于打击乐器的声音,皮肤可以感受到声波的冲击。
3.声波在进入鼓膜时,受人体的反射、折射和衍射而扭曲变形,大脑能根据经验判断出声源的方位和距离。此一研究领域为头部相关传输函数(Head-related transfer function,HRTF)。
 
大脑处理外界声源的方式可以概括为一个函数
 
人们根据这些原理开发出了数种录音方式,随着技术的进步,其录音效果也在逐渐改善中,方法主要有以下几种:
 
(1)听觉传输立体声系统。它是根据听觉传输技术的原理,通过人工假头进行捡拾,或者用信号处理的方法模拟出声源到双耳的传输函数HRTF,从而得到含有3D空间环绕声信息的双耳信号。所得到的两声道信号经放大、记录、传输后,在经耳机重放,或由扬声器重放。这种方法的优点是声像逼真自然,且只需两个独立的重放声道就可以再现三维空间的声像。但是其缺点也是存在的,由于这种方法对测量和处理的精度要求很高,而且由于HRTF与声源到双耳的相对位置有关,因此,严格来说理想的有效听音域是有限的,而且,倾听者头部的转动也会造成前后声像的倒置等等。
 
听觉传输立体声系统,也叫人头录音
 
(2)3D“准”虚拟环绕声系统。这类系统是在听觉传输立体声技术的基础上,从双声道信号提取出空间信息并予以增强,或者通过模拟空寂不同方向上的HRTF来模拟发射声与混响声,进而增加主观听觉上的空间感与包围感,达到模拟3D环绕声的目的,是普通双声道节目源的后期处理系统。这类系统所起到的是模拟环绕声信息的作用,也就是“准”环绕声系统。SRS、Spatializer3D、Qxpander等是这类系统的代表。
 

 
(3)多通道虚拟环绕声系统。这类系统多采用听觉传输技术的虚拟声源的方法,通过HRTF的模拟。利用一对前方扬声器虚拟出部分扬声器,从而实现环绕声的效果。值得一提的是,这类系统也存在听音域窄和声像前后倒置的缺陷。
 
通过几种特殊的处理方式,带有特殊信息的音频信号被汇总、处理,最终就能得出十分逼真的3D声音信号。
 
良好的音频技术不仅可以给使用者身临其境的感受,也对实际使用有帮助,比如游戏的听音辨位
 
音频技术在VR的讨论中甚少被提及,但其重要性其实丝毫不亚于画面的逼真。据行业内人士的估计,逼真的声音效果至少可以给VR增加50%的代入感和临场感。而虚拟环绕声技术最大的贡献不仅是提供了一种可以营造逼真音效的方法,更重要的是让几乎任何一台耳机都可以达到这种效果,这对VR的普及无疑是非常有利的。
 
相关资讯
突破体积限制!Nexperia推出车规级CFP15B封装双极性晶体管

在工业自动化和新能源汽车快速发展的浪潮中,电子系统对功率器件的空间利用率和热管理性能提出了前所未有的严苛要求。Nexperia准确把握市场需求脉搏,正式推出采用创新铜夹片封装技术的MJPE系列双极性晶体管。这12款突破性产品标志着高功率密度与强健可靠性的完美融合,为工程师提供前所未有的设计自由度。

美调整AI芯片对华出口规则,英伟达AMD部分产品获放行,供应链迎利好

据最新市场消息与厂商证实,美国商务部在人工智能(AI)高性能芯片对华出口管制政策上进行了审慎调整。芯片巨头英伟达(NVIDIA)与超威半导体(AMD)均已获得美方新的授权许可,允许其向中国大陆市场恢复特定型号AI芯片的销售,其中包括英伟达专为中国市场设计的H20芯片以及AMD的部分产品线(如被广泛关注的MI 308系列)。

台积电嘉义封测厂安全事故频发 累计2死2伤 工程遭勒令停工

近日,台积电位于嘉义科学园区的CoWoS先进封测厂再度发生安全事故,引发业界关注。据台媒报道,7月20日,该厂区内一辆载重约50吨的施工板车突然翻车,所幸未造成人员伤亡。然而,这已是该工地近两个月内发生的第四起重大安全事故,累计已导致2人死亡、2人重伤。

江波龙:AI驱动存储升级,DDR5与eSSD需求激增

2025年7月18日,江波龙发布公告,回应市场关注问题,并指出全球半导体存储市场自2025年3月底开始逐步回暖。公司表示,随着主要存储晶圆厂商实施新一轮减产或控产计划,市场供需关系改善,存储产品价格在2025年第一季度后半期呈现上涨趋势。同时,下游客户经历三个季度的库存消化后,需求迎来实质性增长。行业分析机构预测,第三季度服务器、手机等领域的存储产品价格仍具备上行空间。

三星加速美国泰勒工厂建设,瞄准芯片法案补贴与2nm技术突破

近日,三星电子正加速推进其位于美国德克萨斯州泰勒市芯片工厂的建设进程。据外媒报道,三星已调派大量芯片制造领域的专业工程师前往该工厂,以加快设备安装与生产线调试。此举不仅是为了满足潜在美国客户的订单需求,更是为了确保工厂能在规定期限内投产,从而获得美国《芯片法案》的巨额补贴。