跳到正文
原文
人人都是产品经理· 马佳彬·· 3 小时前AI 评分32

WorkBuddy 本地部署 Audio8 TTS 小模型,13 秒原声克隆音色

WorkBuddy本地部署声音克隆TTS小模型

文章要点
  • 1Audio8 TTS 可纯 CPU 本地部署,作者实测用 13 秒原声克隆音色,合成出 9 秒配音。
  • 20.6B 版韵律和真实感更好、支持 23 种语言,0.1B 版更轻量主打中英文,均可 CPU 运行。
  • 3部署只需向 WorkBuddy 发送一段提示词自动完成,作者建议创建工作空间存放依赖文件。
  • 4差异化在 CPU 轻量部署,支持流式输出和 OpenAI 兼容接口,可供其他应用直接调用。
决策要点

声音克隆的门槛已经落到普通办公电脑的 CPU 上,Agent 代办部署让不会技术的人也能自己搭语音能力。

  • 影响:视频配音、动画和数字人等语音产出可先零 API 成本本地试跑;无独显的普通办公电脑也能承担合成;克隆只需 10 秒样本,商用前声源授权要自行确认。
  • 参考:可考虑让内容团队选一个固定配音场景试跑 0.1B 版并与现有配音方案比音质和成本;值得先列一份声源授权清单,效果不够再让 Agent 换 0.6B 版。
  • 依据:13 秒原声合成 9 秒配音、约半分钟克隆完成为作者本人实测;0.6B 支持 23 种语言等项目特性为介绍口径,暂无独立评测对比。
正文

上一篇聊过用 WorkBuddy 本地部署 OCR 小模型,这次换成一个轻量 TTS:Audio8 TTS 在 CPU 上就能跑,13 秒原声可以克隆出 9 秒配音,家用电脑不用独立显卡也能部署,提示词写完就开工。

上一篇文章给小伙伴安利了一个,可以使用WorkBuddy进行本地部署的OCR小模型之后,反响还不错。没看过的小伙伴可以回看:WorkBuddy本地部署超强OCR识别小模型

像很多小伙伴的家用或者办公电脑,一般配置都不高,即便有独立显卡的,大多也局限于显存8G及以内。所以参数量比较大的模型跑起来就很费劲,速度跟效果都不是很好。

一直以来老马都是不建议普通用户在本地折腾什么AI生图和生视频模型,虽然可以学习到点东西,但你完全没有技术基础的,绝大部分底层的操作都是Agent在帮你做,说实话你也学不到什么,只是能跑起来而已。

其它开源TTS的部署卡点

因此老马今天继续给大家安利一个参数量小,各方面比较均衡,好用的TTS模型。它比较适合你克隆一下自己想要的音色,给视频配个音,动画配个音啥的。

又或者,你要做数字人,也可以用来进行配音。应用场景还是挺多的,当然除了老马今天要介绍的这个Audio8 TTS,市面上很多还有开源TTS的质量不错,但实际部署使用时就会遇到显存、依赖、推理速度等问题卡点。

比如GPT-SoVITS、CosyVoice、IndexTTS-2、Fish Audio S1这些,虽然有些参数量也很小,但依赖CUDA环境,对显存有一定的要求。有些还不适配Mac,即便质量比Audio8 TTS在某些场景更强,但部署起来折腾。

Audio8 TTS就是胜在CPU轻量部署和完整HTTP本地服务,它是支持流式输出和OpenAI兼容接口的,可以给其它的应用调用。

Audio8 TTS:CPU轻量小钢炮

目前主要有两个版本,一个是Audio8-TTS-Realistic-0.6B,生成后的语音真实感和韵律好一些,同时支持23种语言,包含中英文,没有方言。另外一个是Audio8-TTS-0.1B,这个更加轻量一些,主要面向中英文,还专门做了对CPU友好的ONNX INT8版本模型。

真正要说到是就是其零样本的声音克隆,只需要准备10秒左右的样本音频就能克隆一个人的音色。

说到这里,有小伙伴可能会提到,WorkBuddy本身内置引用的TTS是微软的EdgeTTS去生成语音配音的,但那个中文的效果很差,人声机械音很重。而今天老马介绍Audio8 TTS,就是想取代这个的。

废话过多有关Audio8 TTS就介绍完了,下面直接进入WorkBuddy的本地化部署实操演示,以后你要克隆什么声音,合成什么语音和配音,直接本地用CPU就能跑,就能生成,再也不用花钱接什么API,搞什么显卡了。

本地部署:一段提示词搞定

把下面的这段提示词直接发送WorkBuddy去部署就行了,模型建议选择GLM-5.3-Flash,最好创建一个工作空间,这样模型依赖等文件可以放进去:

完整部署这个项目 github.com/Edge0-AI/Audio8_TTS

如果在部署的过程中,WorkBuddy提示你无法访问github,或者因为网络问题无法下载模型文件等。那这个你就尝试让WorkBuddy帮你去解决吧,找一找国内的模型下载方式啥的。

老马就不再给大家推荐方法了,上一篇文章已经被微信删除了,懂的都懂。部署完毕后如下图所示,WorkBuddy这里默认是给老马部署了0.1B的版本:

克隆音色:13秒原声变9秒配音

与此同时,WorkBuddy还把本地的服务也启动了。这时你会发现右侧的内置浏览器会自动打开一个在线克隆音色和语音合成的操作网页。老马切换到音频注册,上传一段要被克隆的参考音频,输入参考音频原文:

参考音频是之前老马自己录的声音,截取了13秒,就算是原声吧,大家可以听听效果:

准备好参考音频跟音频对应的文字,以及给音色取一个名称,就可以点击注册音色了。注册音色就是克隆声音,克隆音色的意思。大概等了半分钟,音色就克隆完了。

克隆完老马的音色,咱要试试到底克隆得像不像,准不准,接下来就可以切换到语音合成。输入要生成语音的文本,就是要让这个克隆的音色讲什么话的文本,音色就选择刚才克隆的老马音色,其它参数暂时默认即可:

最后点击生成语音,这时模型就会使用CPU去跑合成了。整个过程也挺快,毕竟输入的文本文字比较少。总共合成了9秒的语音,大家可以听听使用克隆后的老马音色,生成的语音跟原声对比的效果如何:

参数调优与对话式操作

这里有关语音合成中的Temperature,Top P和Seed三个参数是什么意思,以及怎样调整会有什么样的效果问题。老马也让WorkBuddy解释了一下,大家可以看看对着自己的需求去参考设置:

另外就是除了在网页上进行音色的克隆和语音的生成之外,你是可以直接跟WorkBuddy进行对话的方式去操作的:

只不过有时候WorkBuddy会自己犯浑找不到你之前克隆好的音色,拿一些演示的音色给你合成了语音。需要跟它确认一下,让它自己去纠正。与此同时老马经过与WorkBuddy的沟通也确认了一点。

如果你觉得Audio8-TTS-0.1B这个版本的克隆与合成效果不好,那可以让WorkBuddy清理掉,重新部署Audio8-TTS-Realistic-0.6B版本的,这个也支持CPU去跑的,只是速度会慢一些:

版本选择建议

总体来说,Audio8 TTS主要是为了满足我们够用的需求,在体积、质量和可部署性上都做得比较适合普通小白用户。并没有盲目去追求参数量要多大,支持的语言和方言要多广。所以感兴趣的小伙伴可以自己部署体验一下。

作者:马佳彬 公众号:马佳彬

本文由 @马佳彬 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自 Unsplash,基于CC0协议

来源:人人都是产品经理 · woshipm.com