无声语音识别新突破，基于超声波舌部成像实现；Kyutai 联合 Epic 推出多人实时交互世界模型丨日报

开发者朋友们大家好：

这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement）领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@koki、@鲍勃

01 有话题的技术

1、Cohere 开源阿拉伯语 ASR模型 Transcribe Arabic：词错率降至 25.87 且吞吐量达 525 RTFx

AI 创企 Cohere 推出针对阿拉伯语优化的开源自动语音识别模型 Cohere Transcribe Arabic。该模型基于其 2B 参数量通用 ASR 基础模型构建，采用 Apache 2.0 协议开源，专门解决阿拉伯语多方言混杂、双语夹杂及专业术语识别等技术痛点。评测显示，该模型在多项基准测试及人工盲测中的转写准确度与并发处理吞吐效率均显著优于现有主流开源模型。

Hugging Face 阿拉伯语 ASR 榜单夺冠：在开放通用阿拉伯语 ASR 基准评测中，该模型录得最低平均词错率为 25.87。相较于此前领先的模型 Meta OmniASR-LLM-7B（词错率 28.32）和 OpenAI Whisper Large V3（词错率 36.86），其词错率分别降低了 2.45 和 11 个百分点。

吞吐效率提升至 525 RTFx：模型针对 vLLM 推理框架进行了算法与运行时的深度优化。其吞吐量达到 525 RTFx，处理速度达到 Whisper Large V3（146 RTFx）的 3.5 倍、OmniASR 7B-LLM（66 RTFx）的 7.9 倍，能高效应对高并发、变长语音输入。
攻克语码转换与方言鲁棒性：模型专为阿拉伯语与英语混合口语、特定行业专业术语进行微调，避免将地方方言强制标准化为现代标准阿拉伯语。在人工盲测中，其双语夹杂和方言保留度表现优异，在 95.8% 的对比测试中被评测员判定为优于 Whisper。
2B 轻量级参数支持低成本部署：作为一款 2B 参数量的轻量级开放权重模型，它可直接在消费级硬件上流畅运行，无需依赖外部 API 或云端服务，为企业提供低延迟的本地化及私有化部署方案。

https://huggingface.co/CohereLabs/cohere-transcribe-arabic-07-2026

( @cohere)

2、Nvidia 发布音频智能模型 Audex：统一单解码器架构，保留 30B 级文本与智能体能力

Nvidia 团队推出统一音频智能模型 Audex。该模型通过将音频输入直接编码至文本嵌入空间，并利用单个统一解码器同时生成文本和量化音频标记，实现了语音识别、文本转语音及语音转语音等全栈能力。该模型基于 Nemotron-Cascade-2-30B-A3B 构建，在赋予其顶尖音频处理能力的同时，完全保留了主流 LLM 的文本推理与智能体能力。

统一单解码器架构：音频输入直接编码至文本嵌入空间，由单个解码器统一生成文本标记与量化音频标记。该设计直接兼容标准的 LLM 训练和推理基础设施，避免了多系统拼接带来的系统复杂度。
全栈音频多模态覆盖：原生支持音频理解、音频生成、语音识别、语音翻译、语音转语音、文本转语音以及文本推理等多维度任务。
无损保留 30B 级智能体能力：旗舰版模型基于 Nemotron-Cascade-2-30B-A3B 文本骨干网络，在获得高水平音频能力的同时，完全保留了原有模型的复杂推理、知识检索、指令对齐、长上下文和智能体调用能力。
多语言评测覆盖：除英语外，该模型已在德语、西班牙语、法语、意大利语、葡萄牙语、俄语和韩语的语音识别和语音转文本翻译任务中完成了评测。

论文：

https://arxiv.org/pdf/2607.05196

模型：

https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B

https://huggingface.co/nvidia/Nemotron-Labs-Audex-2B

( @zihan_johan_liu@X)

3、Kyutai 联合 Epic Games 推出多玩家交互式世界模型 MIRA：零物理和渲染引擎实时模拟多人游戏

General Intuition 与 Kyutai 联合 Epic Games 推出多玩家交互式世界模型 MIRA。该系统采用 5B 参数的 Diffusion Transformer 搭配 600M 参数的视频表征编解码器，在无物理和渲染引擎支持下，纯靠数据驱动实时模拟《火箭联盟》2v2 比赛。MIRA 以 20 fps、分屏 576p 分辨率同步响应四名玩家的控制输入，并实现了在长时序自回归生成中的无限稳定性。

全新视频表征编解码器：摒弃传统自编码器的语义蒸馏方案，直接将预训练图像表征模型 DINO 作为编码器，仅训练解码器从 DINO 隐空间重构图像。该设计显著增强了画面中车辆的物体持久性，使模型在长时序生成中具备无限稳定性，彻底解决了自回归生成中的漂移和发散难题。
无物理输入的多维度评估框架：在训练阶段完全不输入物理状态数据，仅凭视频像素和动作序列完成训练。评估时，通过游戏状态探针直接从模型激活值中逆向读取车辆与球的位置、速度，并结合基于逆动力学模型的动作可恢复率和 FID 指标，量化评估模型的物理保真度与操作控制率。
支持 Action Dropout 动作预测：模型在训练中引入 action dropout 机制（主动随机隐藏部分玩家按键信息）。这使得模型在推理时能够启用 autopilot 模式，在无玩家输入时自动预测并执行 Nexto 智能体的操作策略。
4000 小时「Rocket Science」开源数据集：训练数据源于 10,000 小时 Nexto 智能体自对战生成的 2v2 比赛视频及对齐的动作流（包含转向、油门、俯仰等三值轴控制及跳跃、喷气等二进制按键）。官方开源了其中 4,000 小时的 720p 高清子集、动作流与对应的物理真值。
有限上下文缺陷与外分布自恢复：受限于约 4 秒的 context window，模型在进球回放时因无法追溯历史而会自主虚构画面。尽管在严重偏离游戏逻辑（如四车聚在角落不击球）时会导致画面溶解，但该编解码器展现出强大的纠偏能力，能在外分布失效后快速自发重置并「吸附」回正常游戏状态。

Demo:

http://mira-wm.com

( @kyutai_labs@X)

4、Aleph 基于超声波舌部成像实现无声语音识别：字错率降至 15.6%，融合 ResNet-18 与 Whisper

科技公司 Aleph 研发出一种通过下颌超声波扫描舌部运动来预测无声语音的 AI 系统。该系统仅基于 50 小时的数据集训练，在开放词汇测试中实现了 15.6% 的字错率。该模型具备跨说话人泛化能力，允许新用户在无校准情况下直接开箱使用。

跨模态特征对齐架构：视频编码器采用 ResNet-18 2+1D 提取舌部视频特征，解码器采用 Whisper 最小版解码器。训练阶段首先将舌部视频特征对齐到预训练 Whisper 编码器的音频特征空间，再通过 Whisper 解码器输出文本。
15.6% 开放词汇字错率：在 50 小时的专用数据集训练下，系统跨说话人验证集的字错率降至 15.6%（从 1.5 万样本时的 102% 降至 5 万样本时的 15.6%），表现逼近基于 100 万小时数据集训练的唇读技术（12.5% 字错率），大幅超越同类超声波基准（TaL 数据集上的 83.8% 字错率）。
有声/无声联合训练与实时质检：采集用户朗读合成短故事的有声超声波视频，利用音频转录文本进行自动化数据质量校验。同时部署实时超声波质量分类器，检测探头位置与耦合度。
高发音信息密度捕获：英语 40 个音素中，舌部运动可形成约 34 个独特的音素类别，而视觉唇形仅能区分 10-14 种。即使是清浊音差异（如 /t/ 与 /d/），系统也能通过检测舌根部微弱差异进行区分。
后处理与推理优化：在推理端引入束搜索、句子长度感知，并采用 LLM 作为裁判对生成的多个候选文本进行后处理筛选。

( @alephneuro@X、@alephneuro.blog)

02 有亮点的产品

1、Solos 发布 AirGo A6 智能眼镜：无摄像头轻量化设计，不含镜片重量仅 19 克

智能眼镜厂商 Solos 推出新款音频智能眼镜 AirGo A6，采用无摄像头设计，不含镜片重量降至 19 克。该产品主打轻量化日常佩戴与 AI 语音交互，旨在降低智能眼镜的佩戴门槛与隐私敏感度。

19 克轻量化无摄像头设计：AirGo A6 移除摄像头模块，不含镜片重量仅为 19 克，支持配近视镜片，并提供包括展示内部电子元器件的透明款在内的多种镜框款式。
端侧 AI 语音交互与开放式音频：集成 AI 语音功能，支持语音对话、实时翻译和日历提醒；配备开放式扬声器，支持通话与音频播放。
AirGo V2 物理隐私套件：针对带摄像头的前代产品 AirGo V2 推出物理隐私配件，包括售价 39 美元的 ClearView 镜腿、可遮挡摄像头的物理保护罩及防眩光太阳镜夹片（套装售价 49 美元），三合一完整版售价 79 美元。
可更换电池镜腿与专属充电盒规划：计划于 2026 年 8 月推出专属眼镜充电盒，通过 USB-C 接口为可更换电池的镜腿进行充电

( @XR Vision)

03 有态度的观点

1、Google 前高管：22 岁 AI 原生代员工效率已超越资深员工

据报道，Google 前高管、AI 创业公司 Sierra 联合创始人 Clay Bavor 近日在接受采访时表示，具备 AI 素养的 22 岁毕业生在职场中正展现出独特优势。

他指出，部分 AI 原生代员工虽然缺乏传统工作经验，但其对 AI 工具的熟练程度和应用直觉已超越许多资深员工，成为公司内部最高效的群体。

作为 Google 前高管，Clay Bavor 于 2023 年创立了 Sierra。他观察到 AI 正在缩小初级员工与资深员工之间的差距。在他看来，这些在大学期间长期实验生成式 AI 的学生，在将新技术融入业务流程方面具有实际优势，许多公司都渴望引入这种能力。

为了筛选此类人才，Sierra 已经调整了工程面试流程。公司不再依赖传统的编程笔试，而是要求候选人使用自己偏好的 AI 编程工具构建一个应用程序，并由公司支付相关的 Token 费用。面试官随后会要求候选人复盘整个构建过程。Clay Bavor 预计，在未来两个月内，公司所有的面试环节都将包含深度的 AI 原生考核组件。

( @APPSO)

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点，仅供参考