跳到正文
原文
IT之家·人工智能·· 8 天前AI 评分42

Block 推出全双工 AI 语音模型 Dessa,可在苹果 MacBook 本地运行

Block 推出全双工 AI 语音模型 Dessa:真人感拉满,支持苹果 MacBook 本地运行

文章要点
  • 1Block 推出全双工语音模型 Dessa,能模拟笑声、停顿、哽咽等情绪表达,主打高度拟人听感
  • 2官方称 Dessa 完全基于人类语音数据训练,仅用一组英伟达 GPU 机架,知识来源于训练对话数据
  • 3模型可在 M4 Max 及以上配置的 MacBook 本地运行,暂未开放试用,正邀请安全研究者测试欺骗人类风险
  • 4Block 主业为金融服务,旗下 Square 已用语音 AI 处理下单,自研端侧模型有望以更低成本落地语音产品
决策要点

Dessa 把全双工对话和情绪表达做成模型原生能力,并下沉到消费级笔记本本地运行,语音 AI 的生成链路开始绕开文本中转。

  • 影响:端侧运行让语音交互省去一笔云端推理开销,Block 已明确要用它低成本落地商户与用户语音产品;官方同时把语音智能体欺骗人类列为首批安全测试重点,对客场景的信任与合规边界需要一并评估;M4 Max 的设备门槛也划定了短期适用范围。
  • 参考:可考虑先梳理自身语音场景中对情绪和延迟敏感的部分,估算端侧部署能替代多少云端调用成本;值得等安全研究者对欺骗风险的测试结论出来,再决定拟人语音是否用于对客沟通。
  • 依据:全双工、原生情绪和 M4 Max 运行门槛均为 Block 官方口径,目前仅有官方放出的对话样例,暂无独立评测;Square 用语音 AI 处理下单来自 IT之家转述。
正文

IT之家 10 月 25 日消息,Twitter 联合创始人杰克 · 多尔西(Jack Dorsey)旗下的 Block 公司推出了一款全新语音模型 Dessa,支持本地运行,能模拟笑声、停顿、哽咽等情绪表达,听感高度拟人。官方介绍,Dessa 完全基于人类语音数据训练,训练过程仅使用了一组英伟达 GPU 机架。

Dessa 属于全双工模型,和 OpenAI 今年早些时候发布的 GPT-Live 一样,可以一边说话一边收听用户语音。主流语音模型一般需要搭配大语言模型来调取知识;Block 称,Dessa 自身的知识来源于其训练所用的对话数据。

Block 表示,现有语音 AI 体验经常生硬、违和,根源在于生成链路要先转成文本,再由文本驱动语音合成。ElevenLabs v4、Fish Audio Drama 3 等不少模型依靠语音标签来控制情绪。而这家多尔西的公司宣称,情绪表达是模型原生内置的,不过目前尚不清楚它底层是否仍然依靠某种标签来调控情绪。

Block 在博客中写道:“现在的语音 AI 交互体验实在糟糕。它先把你的语音转成文字,大量文字承载不了的信息直接丢失。即便是全球最强的 AI,也听不出你的情绪。我们认为这很不合理,不仅体验差,还存在潜在风险。”

研究团队放出了多段和 Dessa 的对话样例,这个智能体可以切换音色、语速与情绪。比如有一段对话里,AI 说自己工作很累,发声状态也同步带上疲惫感。

还有一段示例中,AI 聊到对方带给自己安心的感受,语气带着情绪,近乎哽咽。另外一段演示是 Block 的员工和这个语音助手玩游戏。

官方说明,该模型可以在消费级电脑本地运行,设备门槛为 M4 Max 及更高配置的 MacBook。但现阶段 Dessa 暂不对外开放试用,Block 正向安全研究者发出测试邀请,重点测试这类语音智能体欺骗人类的风险场景。

据IT之家了解,Block 的主营业务是金融服务,面向小微企业提供解决方案,旗下 Square 已经在用语音 AI 处理下单业务。自研这款可端侧运行的语音模型之后,Block 有望以更低成本,落地更多面向商户与普通用户的语音产品。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

来源:IT之家·人工智能 · ithome.com