AI技术赋能生命科学领域，“CartaBio”完成数千万元天使轮融资
06-18
雷锋网：本文是作者陈孝良、工程博士、声智科技创始人。
雷锋网独家文章，转载请联系授权。
微信应用号的内测无疑是一个大新闻。
连日来各大媒体争相报道，各领域都在猜测微信应用对APP的重要影响。
虽然目前还无法确认微信应用音频支持的细节，但近年来微信在音频方面的进展还是有很多惊喜的。
微信支持音频主要有两种方式。
一是微信内置浏览器，二是JS-SDK。
这两种方法针对不同的开发应用场景。
JS-SDK主要支持录音和识别，但这两个功能受到微信本身的严重限制，扩展性较差。
目前主要用于集成微信Native SDK的场景。
在微信应用推出之前，真正激发开发者想象力的是微信浏览器。
以前的微信浏览器就是垃圾。
旧版本对H5和CSS3的支持很差，开发者曾抱怨它是“移动端的IE”。
今年4月，微信浏览器终于??升级到了X5 Blink内核，Android和IOS平台的兼容性基本一致。
当时在各个开发社区引起了一阵热潮。
微信浏览器支持哪些音频功能？我们使用html5test进行测试，结果如下： 可以看到，微信浏览器已经完全支持了最重要的Web Audio API接口。
Web Audio API是H5中的一个Javascript接口，用于处理和合成声音。
该API可用于编写游戏声音引擎以及实现各种音乐制作软件中的声音编辑、处理等功能。
事实上，网络上的音频播放一直落后。
H5之前主要依赖Flash或者QuickTime插件。
在此之前，音效体验基本上依靠APP的底层驱动或者硬件内置的音效方法。
H5的Audio标签非常重要，它允许基本的流媒体音频播放。
但Audio标签只为开发者提供了声音文件的读取、播放、暂停、调节音量等功能。
它无法处理更复杂的音频应用程序。
对于复杂的基于网页的游戏或交互应用，尤其是游戏音频引擎和桌面音频处理应用中实现的混音、处理、过滤、音效、定位等功能，都需要Web Audio API进行处理。
Web Audio API 包括模块化音频路由，支持复杂混音、高动态范围音频处理、多采样精度和低延迟音频处理、动态声音生成、声音包络和淡入淡出支持、通道分离和合并处理、音频和视频分离支持、网络实时通信支持、现场音频处理支持、动态压缩和频域处理、音频可视化支持、非线性效果和滤波器支持、声学信号参数生成等。
列出来，这些功能是有点类似于音频领域的PS软件？事实上，利用这些API，你可以快速创建一个“美声”微信应用。
下图是Web Audio API的可视化效果截图。
甚至，Web Audio API直接支持各种场景空间音效。
例如，只需几行H5代码就可以随意切换不同的场景，仿佛置身于真实场景中，享受沉浸式的声音体验。
这些场景包括：大/小房间、教堂、音乐厅、洞穴、隧道、门厅、森林、圆形剧场、远处房间通过门口的声音、滤镜效果。
好吧，是时候抛弃专业音效插件了！甚至未来，硬件也只会打开录音和播放的通道，效果将完全由软件来处理。
当然，Web Audio API 最吸引人的地方是它对空间音频（通常称为 3D 音频）的支持。
这里所说的3D音频需要加上“虚拟”二字。
毕竟和杜比全景声相比还是有很大的差距。
不过，如果应用到目前流行的VR游戏或者聊天中，Web Audio API的这个功能还是一样的。
好的。
Web Audio API全面支持等功率、HRTF、距离衰减、多普勒频移、声源/听者模型等虚拟3D音频功能。
使用这些API，只需几十行代码即可实现更逼真的3D效果。
这里我们解释一下HRTF，即HeadRelatedTransferFunction。
通俗地说，它试图模拟人耳如何获取声音的模型，并利用这个模型来虚拟化任何声源对人耳造成的感觉。
等功率也是3D音频的一种方法，但效果不如HRTF。
HRTF的主要参数有ITD（Interaural Time Difference）耳间时间差、ILD（Interaural Level Difference）耳间强度差和耳间相关系数（Interaural Coherence）。
科学家通过大量实验验证，这些参数与人耳的声音处理机制密切相关，但目前还没有准确的理论推导。
因此，HRTF需要测量很多人耳的数据，通过这些数据构建黑盒声学模型，这有点类似于机器学习。
从这一点来看，Web Audio API提供的HRTF仍然是一个标准模型，仍然需要科研机构和专业公司不断开发和完善。
当然，开源也是一个非常重要的推动力。
例如Google的开源项目Omnitone可以与网页配合体验VR/AR沉浸式音效。
国内SoundAI团队也有计划开源HRTF数据库和支撑引擎。
然而，如果没有音频硬件的支持，上述功能大多只是摆设，无法创造出用户期望的效果。
尤其是在iPhone 7双扬声器配置之前，大多数用户在听手机时仍然有单声道的体验。
如果他们想体验虚拟3D效果，就必须戴上耳机。
这在VR领域是非常不方便的。
佩戴VR眼镜和耳机始终是一个障碍。
更何况，厂家赠送的耳机基本上都是对用户耳朵有害的。
这些配套设施的不足给用户带来了巨大的困扰，也是3D音频发展缓慢的重要原因。
好消息是，大多数用户对音质的渴望正在回归，价值几十元的耳机和低价音箱已经不能满足需求。
这一点从侧面也可见一斑。
比如，Vivo的卖点恰恰是强调音质，而苹果直接在iPhone 7上改进了扬声器和耳机的配置。
其实仔细想想，由于手机标配了双摄像头，它自然需要标配双扬声器甚至多个麦克风等音频硬件。
用户只是关注声音和视频的沉浸式效果。
由于iPhone 7配备了双扬声器，AirPods也是独立无线双通道，相信很快很多国产手机厂商也会效仿。
这将为3D音频应用带来无限空间，甚至基于微信的沉浸式3D音频体验也将成为可能。
不再遥远。
现在开发难度降低了很多，哪些场景可以粘住用户呢？游戏和音乐自然是重要的场景，但这两个场景总是老生常谈，用户的期望基本耗尽。
当然，这些对于企鹅帝国来说都是尤为重要的阵地。
企鹅帝国开放平台的万名开发者一定会推出各种微信音频应用。
产品经理总是喜欢探索能够超越用户期望的空间和产品。
最近火热的直播和VR可能是3D音频应用的重要场景。
简单的音效改进可能会给用户带来惊喜。
事实上，腾讯不可能不关注直播和VR领域。
此外，微信最大的优势在于其庞大的用户社交群体。
微信作为社交平台，会推出VR社交、VR直播，甚至3D语音聊天吗？这也是我们期待的一个方向。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-18
06-08
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态