线上活动丨Ask me anything！向蚂蚁百灵语音算法负责人提问

Ask Me Anything！和蚂蚁百灵聊聊 Ming-3.0 语音模型

在 RTE 开发者社区，和最前沿的实时智能 builder 们对话！

TTS 的情绪和节奏怎么控制？长录音如何整理出共识与分歧？地方口音、产品名和专业术语怎样识别得更准？端侧语音模型如何部署？

围绕新发发布和开源的 Ming-3.0 语音系列模型，RTE 开发者社区邀请到蚂蚁百灵大模型语音算法负责人金春祥，用一小时微信群文字 QA 的形式，和大家聊聊模型能力、选型与实际接入中的问题。

欢迎正在开发语音应用、研究音频模型，或已经体验过 Ming 系列的朋友，带上你的场景与问题来交流！

时间：2026 年 11 月 6 日 （周五）20:00—21:00

地点：Voice Agent 开发者 1 群、2 群

形式：微信群文字 QA

提问福利：会后将从参与有效提问的开发者中随机抽取 1 位，送出由极米提供的价值 599 元的「极米记得 AI 记忆手环 L1」一份。

添加小助手微信 creators2022，备注「百灵 AMA＋一句话自我介绍」，审核后邀请入群。进群后可提前接龙提问，我们群里见！


产品评审结束后，项目负责人要交付一份能继续推进工作的纪要：哪些方案已经达成共识，哪些问题还需拍板，各方的理由分别是什么。这些答案往往散落在整场讨论里，拿到逐字稿之后，还要把它们重新整理出来。

在客户服务的场景，用户带着地方口音，能否被准确识别？内容团队关心的则是如何根据台词设计出在情绪、节奏、风格等维度全面契合角色的语音？

围绕声音创作、长语音分析、业务语音转写三类任务，蚂蚁百灵开源 Ming-3.0 语音系列，分别提供语音合成、音频理解与对话、语音识别三个系列，共五款模型。开发者可以按任务选择，也可以将不同能力组合进自己的工作流。

图片


图片

Ming-3.0 语音模型选型表


图片

有声内容与产品助手：Ming-3.0-tts 按角色设定调整声音

Ming-3.0-tts 系列的 Voice Design 可以用文字描述目标音色，同时也支持参考音频的音色设定。更具特色的是，创作者可以用导演模式说明台词的表演方式，描述情绪如何变化、哪些词需要重读，以及节奏应如何处理。

在蚂蚁，从阿福 APP 的主对话与语音通话，到医生音色克隆、小虎智能办公，Ming-3.0-tts 已进入多类业务。它既可以独立承担配音，也可以与 Ming-3.0-asr-tiny 组合，连接语音输入和回答播报两个环节。


给台词加个导演：调整情绪、节奏与重音

无论是突如其来的惊讶，还是隐忍克制的怒意，只需用文字描述演绎方式，就能让声音呈现细腻的情绪变化。

音频 | 导演模式 Controlled Anger

导演指令：Sound angry but controlled. Stress the accusation and make the final question sharp, without shouting.

合成文本：You changed the plan without telling anyone. How were we supposed to know what to do?

用笑声和叹息表现人物状态

一句台词前的叹息，或说到一半时的一声轻笑，可以帮助听众理解人物的状态。TTS 系列支持在文本中放入行内副语言标签，指定笑声、叹息、咳嗽等表达出现的位置。

音频 | 副语言 句中轻笑

合成文本：他们一进门就笑成一团，[Laughter]整个屋子都热闹起来了。

0.5B 小参数获得出众效果

在 Artificial Analysis 2026 年 10 月的评测中，Pronunciation Robustness 测试关注专有名词、缩写、数字等内容能否读准，Ming-3.0-tts-0.5B得分为 93.2%，并列全榜单第 1，在 Controlled Voice 榜单中以 1069 Elo 位列开放权重模型第 1。Provider Voices 中以 1188 Elo 位列开放权重模型第 3。


图片



图片

会议与访谈：Ming-3.0-audio 从长录音中整理共识与分歧


Ming-3.0-audio-flash/tiny 支持直接对长音频的转写、总结和观点分析等复杂理解，并进行结构化输出。相对传统的先语音识别逐字稿再分析的过程，能保留对话中的情绪、说话人身份、环境信息等，这需要模型首先要对长音频有高效的语音表征，同时保留声音中的人声、音频事件、环境音等的精细声学信息，另外还需要模型对长上下文序列的快速推理。


模型架构设计让长音频理解与交互更高效


一场录音越长，连续提问需要处理的声音信息就越多。Ming-3.0-audio-flash 在输入端采用 6.25 Hz 低帧率音频表征，缩短同等时长录音对应的序列；语言主干基于 Ling-3.0，结合 KDA 与 Gated MLA 混合注意力和稀疏 MoE 架构，降低长音频理解与回答的计算负担。


听懂录音、推理与调用工具，支撑更完整的语音任务

从理解声音与说话内容，到语音推理和工具调用，评测覆盖了不同任务。

  • Ming-3.0-audio-flash 在综合音频理解评测 MMAU 和语音问答与指令遵循评测 VoiceBench 上分别得分 82.00、86.74。

  • 在语音推理评测 BigBenchAudio 上(S2T)，Ming-3.0-audio-flash 得分 99.40，位列图示模型第一；在语音工具调用评测 SpeechFCEval 上得分 82.60。


图片

Audio-flash 的 MMAU、VoiceBench、BigBenchAudio 与 SpeechFCEval 评测结果，各项指标越高越好。



图片

客户沟通与语音输入：Ming-3.0-asr 准确识别口音、地名与专业术语


方言口音理解、热词识别、对话上下文信息注入等是语音识别领域的传统难题，也是 ASR 模型在实际业务落地中的高价值问题。Ming-3.0-asr-tiny 通过构建普通话、英文、方言、领域热词等高质量语料，合理控制分布，再结合语言模型基座强大的上下文理解能力，利用候选热词列表、对话上下文信息，为真实业务场景带来语音识别效果的全面提升。


热词与上文：把场景信息一起交给模型


Context ASR 可以在识别时接收两类场景信息：热词列表提示可能出现的产品名、人名、地名和行业术语；对话上文帮助模型理解连续交流中的语境。应用可按需传入这些信息，辅助判断同音词和不常见的名称，无需为此额外训练模型。在蚂蚁，Ming-3.0-asr-tiny 已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。


以粤语问路为例，应用可以先提供“佐敦道、弥敦道、波鞋街、西洋菜街”等地名热词，辅助识别“弥敦道怎么走？”


音频 | 粤语问路 热词输入示例：佐敦道、弥敦道、波鞋街、西洋菜街

识别内容：弥敦道怎么走？

在领域热词、方言识别、中英文语音识别等四类评测中，Ming-3.0-asr-tiny (8.6B A2B)的平均错误率为 4.41%。与闭源模型 Fun-ASR 1.5，以及开源模型 FireRedASR2-LLM（8B）、Qwen3-ASR-1.7B 相比，识别准确率进一步提升。


图片

领域、方言及中英文识别评测，各项指标越低越好。


图片

局限性与未来计划


面向下一步，我们将重点探索语音交互在真实复杂场景的应用：

  • 让语音交互支持长程复杂任务：探索 Voice Agent，让语音成为发起和持续推进复杂任务的交互入口。通过多轮对话理解需求、发起任务、查询进展，并记住相关上下文与用户偏好，支持任务在持续交互中逐步完成。



图片

即刻体验 Ming-3.0 系列语音模型


在线体验入口：https://chat.ant-ling.com


  • 在线体验：

    访问 Ling Studio Chat，选择 Ming-3.0-audio-flash，体验音频理解与对话能力。

  • API 调用：Ling Studio 提供 Ming-3.0-tts-0.5B、Ming-3.0-audio-flash 和 Ming-3.0-asr-tiny 的 API 服务，开发者可将语音识别与语音生成接入自己的业务工作流。


模型与部署资源入口：

  • Ming-3.0-tts-0.5B

 Hugging Face：

https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B

 ModelScope：

https://www.modelscope.cn/models/inclusionAI/Ming-3.0-tts-0.5B


  • Ming-3.0-tts-tiny

 Hugging Face：

https://huggingface.co/inclusionAI/Ming-3.0-tts-tiny

 ModelScope：

https://www.modelscope.cn/models/inclusionAI/Ming-3.0-tts-tiny


  • Ming-3.0-audio-flash

 Hugging Face：

https://huggingface.co/inclusionAI/Ming-3.0-audio-flash

 ModelScope：

https://www.modelscope.cn/models/inclusionAI/Ming-3.0-audio-flash


  • Ming-3.0-audio-tiny

 Hugging Face：

https://huggingface.co/inclusionAI/Ming-3.0-audio-tiny

 ModelScope：

https://www.modelscope.cn/models/inclusionAI/Ming-3.0-audio-tiny


  • Ming-3.0-asr-tiny

 Hugging Face：

https://huggingface.co/inclusionAI/Ming-3.0-asr-tiny

ModelScope：

https://www.modelscope.cn/models/inclusionAI/Ming-3.0-asr-tiny


图片

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么

图片

请 注册 或 登录 后评论
    // 作者
    R
    @RTE_Dev_Comm
    还什么也没有写～
    • 0
    // 本帖子
    分类
    资讯
    // 相关帖子
    Coming soon...
    • 0
    线上活动丨Ask me anything！向蚂蚁百灵语音算法负责人提问RTRTE_Dev_Comm