这是苍何的第 556 篇原创！

大家好，我是苍何。

前些日子, 夜深人静之际, 于油管之上, 又一次刷到了我所中意喜爱的博主, 其更新了视频。

在那个时候, 那声音好听得不得了, 我当时处于某种激动的状态, 没能抑制得住, 耗费了一些时间, 把娜娜安置在了我的 WeSight 里。

此刻, 一旦我于 WeSight 里开启任务, 那 WeSight 的桌宠便能够播放娜娜的声音，将任务完成状况实时进行播报。能实时告知我她正在做什么, 在发送任务之后, 我就再也不必盯着了。

比如说那种简单的任务, 娜娜会讲她这会儿开始去思索一番, 接着去查看一下结果, 最终还带着有着愉快情绪的那种语气向我告知任务已然完成了:

换个例子来讲, 于 WeSight 里头去调试 Claude Code, 以此展开 Coding, 这显得更具趣味, 哈哈笑。

有这样一种感觉, 着实还算得上挺不错的, 尤其是在那夜深人静时分, 处于一种特定氛围下去开展编码工作, 会发觉那种感觉就不算特别孤单了, 并且呢, 还能够获得暖心的提示, 进而能够专注地去着手做其他一些事情了。

特别要说的最为奇特的是, 你居然能够自行定义本地的 TTS 模型, 可以随心所欲无拘无束不受限地去尽情享受, 达成 token 完全自主不受约束的状态。

我所使用的本地 TTS 模型是 Confucius4-TTS, 它的大小仅为 1.3B, 能够在不参照文本的情况下进行毫无限制的声音克隆, 极为适合在本地进行部署。

此刻, 你仅需于 WeSight 里将桌面宠物开启（于设置, 通用, 桌面宠物那里操作）。

然后开启自定义音色，为每一个宠物自定义你喜欢的音色。

现下支持两种模式, 你要不配置MiniMax的API, 要不选用共用在WeSight里MiniMax的API key, 要不自行定义API, 甚至能挑选本地的TTS配置。

能上传一个参考音频, 在短短几秒钟内, 快速复刻出一个具有很高还原度的音色。

比如说, 我上传了一段由娜娜进行口播的音频, 之后点击「开始复刻」, 如此一来, 便能够在 WeSight 的桌宠当中使用该音色。而这, 其实指的就是文章一开始的那 2 个视频。

实话说, 打从一开始去选择进行本地部署 TTS, 除开是想着能将 token 节省下来, 也是出于想要凭借一些公司当中的 dgx spark 来加以好好利用。

关于这方面, 也开展了一番调研, 参数太大的话, 本地绝对是搞不成的, 而参数太小的情形下, 不少效果又是不达标的, 于确定技术选型以前, 我依旧针对Confucius 4-TTS做众多的测试验证。你瞧:

这个视频大家都有印象吧，我想复刻小女孩的声音

我在本地的mac, 借助Remotion远程连接到dgx主机, dgx主机在本地部署了Confucius 4-TTS开源模型, 该模型负责对声音予以复刻。

我闲的无聊，把这个配音，放到原视频中去，挺有意思，哈哈哈。

行, 当下我运用她的音色, 借由我本地的Confucius 4 - TTS模型予以复刻, 去给小橘子娓娓道出三字经, 讲上一口极为地道的英语。

还不过瘾，我直接让她来个日语介绍下武汉。

别说, 你感觉还挺相似的, 语调和情绪都还挺到位, 不大像是本地模型能跑出来的。

Confucius 4-TTS 总共支持十四种语言, 分别为中文, 英文, 日语, 韩语, 德语, 法语, 西班牙语, 印尼语, 意大利语, 泰语, 葡萄牙语, 俄语, 马来语, 越南语, 据说后续还会不断增添。

这个是我喜欢的博主娜娜的原声，我试了把她复刻为不同的语言。

先来一个卢森堡语的带货口播：

再来一个韩国口音的带货口播：

究竞是不是极其不错, 我觉察这个对于出海跨境那般的从事买卖以及关于内容来做创作确实切实有用处, 再也用不着凭借自身去寻觅其他人来录制涵盖不同语种的口播, 是吗?

平常使用高德导航时, 我开启的皆是小团团语音包, 我内心十分渴望复刻出一个具备小团团音色的版本, 所以我随意录制了一段音频, 然而车内的声音存在些许嘈杂的情况。

可能是杂音噪音问题，复刻出来的效果没达到我的要求。

众人于运用Confucius 4-TTS模型进行本地复刻之际, 务必要录制那种纯净无杂音的纯粹声音, 如此这般, 所呈现出来的效果将会好一点。

所谓本地部署最为显著的益处便是节省 Token, 实际上其部署做起来并非繁杂, 甚至, 于你自身携带的 Mac 之上均可正常运行起来。

首先，你需要把开源代码拉到本地来。

git clone https://github.com/netease-youdao/Confucius4-TTS.gitcd Confucius4-TTS

之后去构建 conda 环境, 要是你已然拥有了那就用不着再次新构建了, 仅仅只需激活启动一下。

conda create -n confuciustts python=3.10 -yconda activate confuciustts

可以这么简单理解 conda 环境, 它是为这个项目专门开设一个叫「房间」的空间, 用来安装此项目自身所需要的依赖, 并且不会与你电脑上的其他项目产生冲突。

接下来就可以安装依赖：

pip install -r requirements.txt

这里时间会比较久，按照要求来安装依赖就好了。

将其弄好以后, 你能够实行从下面开始的代码去进行测试, 要留意去更改属于你自身的音频参考文件。

python example.py \    --prompt_wav path/to/reference.wav \    --text "Hello, this is a test of zero-shot voice cloning." \    --lang en \    --out output.wav \    --config config/inference_config.yaml

固然也能够并非于dgx之上径直开展测试, 能够借由Tailscale于mac之上施行远程测试。

最终, 利用 fastAPI, 来对模型服务予以封装, 再把封装后的内容提供给 WeSight 以供其使用, 如此这般, 便算是达成任务完成操作了。

瞧瞧Confucius 4-TTS的技术架构, 那可是「语音编码器 + LLM」架构的模样, 它是借助两阶段来达成的, 先是Text 2 Semantic（文本转化为语义Token）, 而后是Semantic 2 Acoustic（语义Token转化为梅尔频谱图）, 对不?

然后使用 BigVGAN 声码器输出最终音频。

讲实话, 如果是在本地进行部署关于TTS的操作, 那么能够在不把成本纳入其考量范围里去进行运用, 就这一点而言真的会让人有一种颇为舒心的感受。

并且, Confucius4 - TTS仅仅有1.3B, 它在本地就能够运行, 遵循Apache 2.0协议, 就算用于商业用途也是毫无问题的, 这对于个人开发者以及内容创作者来讲, 真的是极为友好的。

要是你同样期望自身的 Agent 能够「张嘴讲话」, 务必强烈建议去尝试一番。当然, 也能够运用 WeSight 去体验。

只是略微进行了一下留意, Confucius 4-TTS竟然又是由有道进行开源的, 还清楚地记得WeSight实际上是立足于有道所开源的LobsterAI开展再次开发而做成的。

现在有道的AI愈发呈现出一种有着“闷声干大事”之感的态势, 它不通过举办发布会来刷取存在感, 而是持续不断地逐个向外推出开源项目, 诸如TTS、Agent框架以及多模态等, 并且全部都是遵循Apache 2.0许可协议, 拿过来就能够直接使用。

好了, 要是感觉有作用的情形下, 来个点赞, 你们所给予的支持乃是我持续进行折腾的最为巨大的动力。