凤凰网科技报道，7月4日，阿里通义实验室对外公布了一项开源的音频生成模型，名为ThinkSound。这是该实验室首次将思维链（CoT）技术引入音频生成领域，其目的是为了克服目前视频转音频（V2A）技术在处理画面动态细节和事件逻辑理解方面的不足。

通义语音团队指出，传统V2A技术往往难以准确把握视觉与声音之间的时空关系，这往往使得生成的音频与画面中的关键事件出现不一致。而ThinkSound技术通过采纳结构化推理方法，模拟了人类音效师的分析步骤：它首先把握视频的整体画面和场景含义，接着专注于特定的声源对象，并最终响应用户的编辑命令，逐步构建出既高保真又与画面同步的音频。

图源：通义大模型微信公众号

为了培养模型，该团队打造了首个能够进行链式推理的多模态音频数据集AudioCoT，其中汇集了超过2531小时的高品质样本，涵盖了众多场景，同时研发了针对交互式编辑的对象级和指令级数据。ThinkSound系统由一个负责进行推理链“思考”的多模态大型语言模型以及一个负责生成声音的统一音频模型构成。

ThinkSound 音频生成模型的工作流

据消息透露，ThinkSound在众多权威测试中展现出超越现有主流技术的优异表现。目前，这一模型已经开放源代码，开发者们可以前往GitHub、Hugging Face以及魔搭社区下载相应的代码和模型。展望未来，该模型的应用领域将进一步扩展至游戏、VR/AR等沉浸式体验场景。