在安静的房间里，你可以轻松地与 AI 对话。但如果站在嘈杂的马路边，对着汽车说一句「打开后备箱」，它还能准确听懂吗？如果身边有几个人同时说话，AI 能否判断谁才是正在向它发出指令的人？如果用户说的是一个生僻地名、带有明显地区口音的普通话或方言，或者在网络不稳定的环境中持续对话，它又该如何应对？

这些看似普通的使用场景，仍然是语音 AI 面临的技术难题。

过去几年，随着大模型的发展，语音识别、语音合成和实时对话能力不断提升。但当这些技术真正进入汽车、手机、智能家居和 AI 硬件，开发者不仅需要提高模型的识别与理解能力，还需要解决整个语音交互系统如何在复杂环境中稳定运行的问题。

10 月 24 日，在 iRTE2026 实时智能大会「音频 AI 技术专场」中，武执政（香港中文大学（深圳）副教授、博导，安菲翁科技创始人）、高纯（声网 WebRTC 技术负责人）、黄公平（武汉大学教授、博士生导师）、范利春（小米集团技术委员会语音交互负责人）、张卫强（清华大学语音与音频技术实验室负责人）等五位讲者，围绕「语音 AI 与声学技术：真实世界的实时语音工程」，分享了从声音采集、实时传输、语音识别到交互与安全的研究和工程实践。

圆桌讨论环节，还邀请到张彬彬（千问 Audio Application & Agent 负责人）、孙思宁（浙江湃启科技 CEO）、金春祥（蚂蚁百灵大模型算法专家）、张超（清华大学电子系副教授）共同探讨语音 AI 落地的真实挑战。

武执政：从个性化语音理解到 AI 合成语音检测

电影《Her》中，AI 操作系统 Samantha 能够通过声音与人自然交流，理解情绪，并持续参与用户的生活。

香港中文大学（深圳）副教授武执政以这部电影为引子，分享了团队在个性化语音理解、拟人化交互和 AI 合成语音检测方面的研究。

在个性化语音理解方面，武执政团队重点关注两个问题：如何在多人交谈中准确识别目标说话人，以及如何识别用户通讯录中的姓名、专业术语等个性化词汇。针对这些挑战，团队尝试引入目标说话人的参考音频，并通过热词检索机制提高识别准确率。

在实时交互方面，团队探索了快慢思考架构：由前台较小的模型负责实时交流，将复杂任务交给后台大模型处理。与显式思考相比，隐式思考可以减少响应等待。团队还尝试通过模拟交互、诊断问题和迭代优化 Harness，改进工具调用等任务的执行效果。

随着 AI 生成的声音越来越接近真人，如何辨别合成语音也成为新的挑战。武执政分享了一次测试经历：团队与华为合作开发了一款轻量级 AI 合成语音检测模型，并将相关能力应用于鸿蒙系统。他用自己的手机拨打测试设备，播放了一段克隆生成的语音，测试设备随即显示了疑似 AI 变声风险提示，武执政的手机号码随后也收到了疑似诈骗电话的风险提醒，并一度受到通信限制。

在实际电话场景中，AI 合成语音检测还面临着不同设备、电话信道和播放方式带来的干扰。武执政介绍，团队发现，仅使用模拟数据训练的模型，在真实电话录音上的检测效果会明显下降。为此，团队采集了不同设备和通话条件下的真实录音，构建数据集，以提高模型在实际场景中的检测能力。

高纯：当 AI 开始说话，音频传输也需要改变

人在说话时，通常是一边思考、一边组织语言，声音持续产生，需要实时传输。而在当前常见的流式文本生成加语音合成架构中，AI 可以提前生成数秒甚至更长的音频。这意味着，面向人类语音设计的传输策略，未必是 AI 语音的最优选择。

声网 WebRTC 技术负责人高纯介绍了面向 AI 语音的音频传输策略：Burst 快发与深度缓冲。它的基本思路是，在网络条件较好时，尽可能提前将 AI 已生成的音频发送到接收端，并建立更充足的缓冲。当网络出现抖动或带宽下降时，系统可以利用已经缓存的音频继续平稳播放。这种方式并不是简单地提高发送速率。系统还需要控制发送节奏，避免占满网络带宽，同时保证控制信令的优先级，并在用户打断 AI 时及时清除尚未播放的音频。

但这一策略在 Web 平台落地时，还面临浏览器接口的限制。由于现有 WebRTC 标准对内部传输能力开放有限，声网尝试通过 DataChannel、WebAssembly 和 Web Audio 等技术，在浏览器中实现定制化的音频传输与播放流程。

与此同时，WebRTC 相关标准和协议也在持续演进。一方面，RtpTransport 尝试向开发者开放更多底层传输控制能力，让应用能够根据 AI 音频的特点定制传输策略。另一方面，WARP 等新方案则着眼于缩短连接建立时间，进一步改善实时交互体验。

对于实时语音交互而言，用户感受到的延迟，并不只来自模型生成回答的速度。音频如何发送、网络如何应对波动、连接能否快速建立，同样决定着对话是否流畅。

黄公平：让智能设备从听清声音走向理解空间

在智能手机、智能音箱、电视和机器人等终端中，麦克风阵列已经得到广泛应用。但在实际环境中，设备需要面对混响、回声、背景噪声、远距离拾音以及声源移动等问题。

武汉大学教授黄公平围绕「面向智能终端的麦克风阵列空间声场感知与重构」，介绍了团队在声音拾取、空间感知和声场重构方面的研究。

他将麦克风阵列技术的发展目标概括为三个层次：听清、听懂和重构。

首先是「听清」。通过麦克风阵列和波束形成技术，设备可以增强目标方向的声音，并抑制其他方向的干扰。但对于手机等小型终端而言，麦克风数量、阵列尺寸和计算资源都受到限制。如何利用有限的麦克风实现高增益、高保真的声音拾取，是一个长期存在的工程问题。针对这些限制，团队研究了线性、环形、同心圆环等不同阵列结构，并探索将指向性与全指向性麦克风结合，设计具有更高空间指向能力的混合阵列。这里的前端波束形成强调无失真约束，后续还可叠加后置滤波或深度学习增强。

第二个层次是「听懂」。除了听清目标声音，设备还需要进一步判断声音的类型、来源位置和运动状态，并理解周围环境的声学特征。这对于机器人等移动设备尤其重要。当说话的人和机器人都在运动时，设备需要在不断变化的三维空间中感知和追踪声源。

第三个层次是「重构」。在空间音频场景中，系统不仅要提取目标声音，还需要尽可能保留声音的方位和空间信息，让用户在回放时能够感受到接近真实现场的声场。

黄公平还介绍了团队在手机空间音频、双耳渲染和 Audio Zooming 等方向的应用探索。例如，当用户拍摄视频并放大远处的画面时，设备可以利用多个麦克风，更有针对性地增强对应方向的声音。

范利春：语音识别还远没有解决，真实场景里仍有三座高山

随着 Whisper 等语音识别模型的发展，ASR 的使用门槛显著降低。但这并不意味着语音识别问题已经解决。小米集团技术委员会语音交互负责人范利春指出，通用模型已经解决了大量相对容易的问题，真正进入业务场景后，仍有不少难以处理的边缘情况。

第一座高山，是复杂环境中的目标说话人语音识别。

以小米汽车的车外语音交互为例，用户可能一边绕着车辆走动，一边连续发出指令。系统不仅需要在复杂噪声中准确识别语音，还要在目标说话人移动时持续识别其讲话内容，并排除周围其他人的干扰。针对这一问题，小米研发并开源了 Xiaomi-CocktailASR-1 模型。与先分离声音、再进行语音识别的传统处理方式不同，该模型利用目标说话人的参考语音作为提示，直接识别目标人的讲话内容。在车外语音交互中，系统可以利用用户唤醒汽车时的语音，确定后续需要关注的目标说话人。当输入语音中没有目标说话人的讲话时，模型应输出空文本，避免将其他人的讲话转写为目标说话人的内容。

除了多人语音识别，第二座高山是个性化热词。用户通讯录中的姓名、收藏的导航地址、家中设备的自定义名称，都可能是通用模型没有见过的词汇。如果直接向模型提供成千上万个热词，不仅会增加处理负担，也很难保证模型能够准确选出当前语音对应的词。

针对这一问题，小米采用了「先检索、再识别」的技术路线。首先，通过 GLCLAP 等热词检索方法，从大量候选词中筛选出与当前语音相关的少量热词；随后，将检索结果提供给语音识别模型，由模型结合上下文完成判断。在实际应用中，系统还可以结合用户收藏的地址、当前位置等信息，缩小候选词范围，提高个性化识别的准确性。

第三座高山则是评测。目前，语音识别通常使用词错误率（WER）、字错误率（CER）等指标评价模型性能。但在真实应用中，识别错误对用户的影响并不相同。例如，遗漏一个无关紧要的词，与遗漏一句话中的否定词，可能产生完全不同的结果。即使两种错误在传统指标中得到相同分数，对用户体验的影响也可能有明显差异。为此，小米提出了 SITAR 评测方法，评估识别错误对原话所表达情境的影响，将错误的严重程度与累积影响纳入评分，作为传统错误率指标的补充。

张卫强：让更多语言被 AI 听懂

世界上存在数千种语言，还有大量方言和口音。但现有语音识别系统的训练数据和研究资源，长期集中于使用人数较多的语种。对于低资源语言而言，最大的挑战之一，是缺少足够的语音数据和语言专家知识。

清华大学语音与音频技术实验室负责人张卫强以多语言语音识别的研究历程为线索，介绍了团队在低资源建模、数据集建设和端到端语音识别大模型方面的探索。早期，团队通过联合建模不同语言，让数据资源丰富的语种帮助资源较少的语种学习语音特征。随着自监督预训练技术的发展，研究者可以利用大量没有人工标注的语音数据训练基础模型，再使用少量目标语种数据进行微调。

为缩小学术研究与工业界之间的数据规模差距，团队持续建设并开放大规模语音数据集，通过自动标注、对齐和数据清洗等方法，提高互联网语音数据的可用性。

在此基础上，张卫强介绍了清华大学与 DataoceanAI 联合研发的多语言语音识别模型 Dolphin。该模型支持 40 种东方语言和 22 种中国方言，并通过多语言联合训练，提升部分低资源语种的识别表现。

团队随后还推出 Dolphin-CN-Dialect，针对中国方言及带有地区口音的普通话进一步优化识别能力。

圆桌讨论：人人期待《Her》，为什么先等来了语音输入法？

在五场主题演讲之后，圆桌主持人武执政与千问 Audio Application & Agent 负责人张彬彬、浙江湃启科技 CEO 孙思宁、蚂蚁百灵大模型算法专家金春祥，以及清华大学电子系副教授张超，围绕语音 AI 在真实世界中的技术与产品挑战展开讨论。

即使是在一场讨论语音 AI 的技术会议上，语音识别本身也可能出错。孙思宁以现场字幕为例，谈到了专业语音识别和翻译系统面临的现实问题。技术会议中频繁出现的专业缩写、术语和复杂断句，仍然可能造成识别错误，影响体验。

如今的模型已经能够生成自然、动听的声音，但遇到数学公式、化学表达式或网页 Markdown 内容时，如何准确地读出来，依然是一道难题。金春祥在讨论中提到了这一容易被忽略的细节。

在多人交谈中，人通常能够判断谁正在说话、对方是否在与自己交流。但对于 AI 语音系统而言，做出这样的判断仍然很困难。张彬彬在讨论中提到，除了识别声音，AI 还需要理解当前的交流对象，判断用户是否真的在向自己说话。

从识别声音，到理解完整语境

如果希望 AI 不只是准确地转写一句话，而是真正理解用户正在表达什么，仅仅提升语音识别模型的能力可能还不够。

在张彬彬看来，用户的历史交互、偏好和当前任务，都可以成为语音识别的重要上下文。例如，在技术会议中，如果模型能够结合嘉宾的演讲材料和专业术语，就可能获得更准确的识别结果。

张超则进一步将问题指向感知与认知的关系。在他看来，人的听觉感知并不独立于认知，解决复杂场景下的语音识别问题，未必只能依靠语音识别技术本身。

当语音交互进一步发展为 Voice Agent，AI 不仅需要理解用户说了什么，还要判断用户想做什么，并在持续交流中完成任务。

孙思宁分享了将语音、意图和执行分为三个异步循环的架构思路，让不同环节相互协作。在他看来，其中最困难的是意图判断，因为不同产品和应用场景中的用户需求差异很大，意图判断需要结合具体行业进行设计。

但前后台之间如何分工，仍然有待探索。张彬彬提到，哪些任务应该由前台语音模型直接完成，哪些需要交给后台 Agent，目前还缺少足够成熟的评测方法。

从模型能力，到用户真正愿意使用的产品

将模型部署到生产环境，需要统筹推理加速、服务部署和实时传输等环节。金春祥提醒，每个环节都可能造成体验损耗，因此不能只看模型本身的指标。

张超则从自己的工业实践经历出发，谈到了对端到端语音识别技术的认知变化。早期，他并不特别看好端到端技术路线，因为传统系统也能够以较少的数据和算力取得很好的效果。但真正进入生产环境后，他逐渐意识到，端到端架构在系统部署、维护、优化和扩展方面具有明显优势。

孙思宁将技术走向市场的过程区分为三个阶段：技术、产品和商品。在 AI 时代，借助各种开发工具，做出一个产品已经变得越来越容易。但产品能够运行，不代表有人愿意为它付费。他以自己正在销售的录音设备为例，谈到了技术创业者需要面对的现实问题：不仅要找到产品的差异化优势，还要理解用户为什么愿意购买，以及什么样的商业模式能够真正成立。

对于什么是「好技术」，研究者与产品开发者也可能有不同的判断。张彬彬谈到，对产品而言，关键并不在于采用了怎样的训练方法，而在于能否真正解决用户的问题。

从实时对话，走向长期记忆与持续感知

未来一至三年，语音 AI 还可能发生哪些变化？长期记忆是圆桌讨论中多次出现的一个方向。

目前的 Voice Agent 已经能够完成多轮对话，但如果希望 AI 真正成为长期陪伴用户的助手，它就不能每次交流都从头开始。张超认为，Memory 可能是未来一年最值得关注的突破方向之一。除了记住过去的对话，AI 还需要识别不同的说话人、理解用户所处的环境，才能在持续交互中积累有用的信息。

孙思宁以录音设备为例，谈到了个人声音数据的价值。一些用户会长时间记录会议、工作和日常交流，再将录音转成文字，交给 Agent 处理。随着长期记忆和持续感知能力的发展，这些日常积累的信息有可能成为 Personal Agent 的重要上下文，她还展望了搭载长期记忆和持续感知能力的消费级机器人。除了技术能力和产品价格，长时间录音录像带来的隐私问题也需要考虑。

在长期记忆之外，复杂任务的持续执行也需要新的系统能力。蚂蚁百灵的金春祥以生成一小时的广播剧或有声内容为例：依靠模型一次性生成，很难保证最终效果，系统还需要能够在生成过程中检查、修正，再继续执行。这也是他认为音频原生 Harness 值得关注的原因。

而在更长远的自然交互体验上，张超看好感知与生成的进一步融合。人在嘈杂环境中会自然提高说话音量，交谈双方也可能逐渐调整语速和语气。类似的交互细节，不只是语音合成的问题，还需要 AI 持续感知周围环境，并根据反馈调整自己的表达。

千问 Audio 的张彬彬则将自然对话视为 Voice Agent 发展的基础。在他看来，只有先让 AI 能够流畅、自然地与人交流，才能在此基础上进一步扩展 Agent 能力和复杂任务执行能力。

从嘈杂环境中的声音拾取，到弱网条件下的实时传输；从识别特定说话人的指令，到理解不同语言、方言和个性化表达，语音 AI 进入真实世界，需要解决的是一系列相互关联的技术问题。

电影《Her》所呈现的自然语音交互，或许仍然是一个值得期待的方向。但要让这样的体验真正进入日常生活，除了更强大的模型，还需要声音采集、实时传输、语音理解、系统工程与产品设计的共同进步。

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么