OmniAudio-阿里通义推出的空间音频生成模型
文章来源：智汇AI 发布时间：2358-06-09
OmniAudio 是阿里巴巴通义实验室语音团队推出的从360°视频生成空间音频（FOA）的技术。为虚拟现实和沉浸式娱乐提供更真实的音频体验。通过构建大规模数据
暂无访问OmniAudio是什么
OmniAudio 是阿里巴巴通义实验室语音团队推出的从360°视频生成空间音频（FOA）的技术。为虚拟现实和沉浸式娱乐提供更真实的音频体验。通过构建大规模数据集Sphere360，包含超过10.3万个视频片段，涵盖288种音频事件，总时长288小时，为模型训练提供了丰富资源。OmniAudio 的训练分为两个阶段：自监督的coarse-to-fine流匹配预训练，基于大规模非空间音频资源进行自监督学习；以及基于双分支视频表示的有监督微调，强化模型对声源方向的表征能力。
OmniAudio的主要功能
生成空间音频：能直接从360°视频生成FOA音频，这种音频是一种标准的3D空间音频格式，能捕捉声音的方向性，实现真实的3D音频再现。采用四个通道（W、X、Y、Z）来表示声音，其中W通道负责捕捉整体声压，X、Y、Z通道则分别捕捉前后、左右以及垂直方向的声音信息。在头部旋转时，可以确保声音定位的准确性得以保持。相关推荐
