跳到正文
原文
IT之家·人工智能·· 3 天前AI 评分50

腾讯混元发布实时语音模型 Hy Realtime,可调用工具也能唱歌,已上线元宝语音通话与腾讯客服

腾讯混元发布实时语音模型 Hy Realtime:能说会唱、还能调用工具,已在元宝语音通话、腾讯客服等上线

文章要点
  • 1腾讯混元发布实时语音模型 Hy Realtime,新增工具调用与唱歌能力,已在元宝语音通话、腾讯客服上线。
  • 2模型能结合上下文还原口齿含糊、话说半截或中途改口的不完整输入,长对话中多轮指令遵循更稳定。
  • 3官方称音质、发音、韵律、情感各维度全面优于上一代,唱歌能力由与腾讯音乐 TME 灵音团队共同打造。
  • 4模型近期将上线腾讯云对外提供 API,官方下一步重点提升双工交互、长期个性化记忆与前后台 Agent 交互。
决策要点

腾讯把语音交互从纯对话推进到带工具调用的智能体形态,并直接接入自家客服场景完成商用落地。

  • 影响:客服、语音助手类场景多了一个国产实时语音模型选项,API 即将开放会降低接入门槛;语音加联网搜答的组合意味着语音入口可承担查询任务而不只是播报;现有评测均为官方口径,选型前需按自身场景验证。
  • 参考:可考虑先在元宝 App 或网页 Demo 试其含糊输入理解与多轮对话表现,评估与自家客服话术的匹配度;值得等腾讯云 API 上线后,用真实客服录音做小样本对比,再决定是否替换现有语音方案。
  • 依据:能力描述与评测结论均来自腾讯官方介绍,内部专家盲评与自建测试集结果暂无独立验证;上线范围与体验方式以官方发布为准。
正文

IT之家 11 月 13 日消息,腾讯混元今日发布全新实时语音模型 Hy Realtime。该模型在语音理解、指令遵循、拟人化表达等基础对话能力上有优异表现,同时新增 Agentic 工具调用与唱歌能力。

Hy Realtime 已在元宝语音通话、腾讯客服等产品上线,近期也将上线腾讯云,对外提供 API 服务。

官方表示,Hy Realtime 仍在不断迭代,下一步将重点在双工交互、长期个性化记忆、前后台 Agent 交互上等方面不断提升,为用户带来更好的交互体验。

当前版本可通过最新版元宝 App 体验,在语音通话功能中选择“初语”音色;也可访问网页 Demo 进行部分能力体验。

IT之家附官方介绍如下:

Hy Realtime 在理解用户意图和指令遵循方面表现出色。现实交流中,用户交互可能会口齿含糊、话说半截,或者中途改口纠正自己,模型可以结合对话上下文,对这类不完整输入进行意图还原,理解准确率显著提升。同时,模型的多轮指令遵循与上下文管理能力进一步增强,在较长的连续对话中依然能够稳定理解用户意图,保持对话流畅。

除了基础对话功能,Hy Realtime 还具备工具调用能力,它能根据对话上下文、用户意图准确判断是否执行联网搜索,统一搜索决策、调用工具与生成回答。

除了“听力理解”的大幅提升,Hy Realtime 的口语表达能力也进一步升级。在音质、发音、韵律、情感各维度上全面优于上一代模型,对话内情感的变化和递进更加自然,韵律语调处理也更具多样性,与用户的共情能力进一步提升。

依托与腾讯音乐 TME 灵音 AI 团队的深度 Co-Design,Hy Realtime 新增唱歌能力,将自然语言点歌与富有表现力的歌声融入对话,让交互从“能说”走向“会唱”。

用户可以按歌手、专辑、曲风、语种、发行年份和热度组合点歌,也能承接前文继续选择。例如,当用户说“来首 2010 年到 2020 年之间的英文民谣”,模型即可结合多轮上下文,理解点歌意图、匹配歌曲并演唱。

在演唱表现上,混元团队围绕表现力、自然度和音乐性持续打磨,让演唱情绪更有层次,咬字、气息衔接更加自然,旋律与节奏表达更加协调。在内部专家 A/B Test 评测中,Hy Realtime 在核心体验维度中呈现出显著优势。

▲ 在中文 / 中英混为主的应用场景上,混元语音构建了体验向的真实产品评测体系。在内部专家盲评的结果上,基础搜答类体验上有了显著提升。

▲ 在覆盖数学、科学、逻辑推理、知识问答、复杂指令、文本理解、多轮等多个维度的内部自建基础智商测试集上,非思考模式的中文表现不俗。

▲ 在语音交互领域多个公开 Benchmark 上,综合客观表现处于领先水平。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

来源:IT之家·人工智能 · ithome.com