本期编辑：@三水、@鲍勃

01 有话题的技术

1、FireRedAudio：一个模型覆盖「听、理解、推理、说和编辑」完整音频链路，共享同一个 9B 参数语言模型底座

小红书 FireRedTeam 发布 FireRedAudio 代码与模型权重，希望用一个模型覆盖「听、理解、推理、说和编辑」完整音频链路。其核心设计是将音频理解与语音生成使用的表示分开：理解侧负责提取适合识别和推理的信息，生成侧负责保留声音合成所需的细节，但二者共享同一个 9B 参数语言模型底座，减少理解和生成能力相互干扰。

• 一个模型覆盖完整音频任务： FireRedAudio 同时支持 ASR、音频理解、零样本 TTS、按指令控制的 TTS，以及语音内容和声音表现编辑，无需为不同任务分别使用独立模型。

• 理解与生成使用不同音频表示： 音频编码器负责识别和理解，RedAE 路径负责语音生成，两套表示彼此分离但共享语言与推理能力，让同一模型同时处理「听懂」和「说出来」。

• 支持直接用指令修改已有语音： 可删除、替换或插入语音内容，也能调整音高、语速和音量；同时支持根据参考音频复刻声音，以及根据文字描述设计新的声音。

• 最长可理解约 1 小时录音： 模型可将内容与时间位置对应，用于生成带时间戳的结构化结果、按时间检索内容，或根据内容反查其在长音频中的位置。

• 代码与模型权重已经发布： 官方提供 Python 推理代码及 Hugging Face、ModelScope 模型下载，项目代码采用 Apache 2.0 许可证。

https://github.com/FireRedTeam/FireRedAudio

2、Hume AI 研究发现：部分高分 ASR 可能在「识别测试集」，公开榜单分数或高估真实转录能力

Hume AI 发布 ASR 基准优化研究，对 11 个常用开源 ASR 模型进行三组测试后发现，一些公开基准上的高分模型会根据音频中的数据集特征，输出测试集「预期的参考答案」，而不是严格按照实际听到的内容转录。这意味着更低的 WER 不一定完全来自更强的语音识别能力，也可能包含针对公开测试集的适配。

• 参考答案本身有错，模型仍可能跟着写错： 在 VoxPopuli 一段实际包含「Thank you」的音频中，参考文本漏掉了这句话，11 个模型中有 6 个同样将其省略；换成训练截止时间之后的新录音后，大部分模型又恢复了忠实转录。

• 把数字从音频里静音，一些模型仍能「补出」原答案： 在 LibriSpeech 上，部分基准表现最强的模型仍能在约 30%–40% 的样本中恢复被完全遮掉的数字，而这一现象在新采集音频上明显减弱。

• 同一个读音，会根据测试集切换不同写法： 研究测试了 「Mr.」 与 「Mister」等声音相同但写法不同的情况，部分模型匹配对应数据集书写习惯的准确率接近 90%，说明模型可能从周围声学特征中判断当前属于哪个测试集。

• 研究建议 ASR 评测增加真正未见过的数据： Hugging Face Open ASR Leaderboard 已新增 「Benchmark fitting」 评测项，用于观察模型复现错误参考文本和跟随数据集书写习惯的程度，避免只依据公开测试集 WER 判断模型泛化能力。

• Hume AI 正从语音模型公司转向 Voice AI 的数据与评测基础设施： 2026 年初，Google DeepMind 与 Hume 达成技术授权协议，并吸收创始人 Alan Cowen 及多名核心工程师；Hume 本身并未被整体收购，而是由新 CEO Andrew Ettinger 继续运营。此后，公司重心逐渐从 EVI、Octave 等自研语音模型，转向为整个行业提供语音数据、评测与 RL 基础设施。

https://huggingface.co/blog/asr-benchmark-optimization

3、Amphion 发布端到端语音大模型 FlexiSLM：4–12.5Hz 动态可控帧率，6.25Hz 输出将推理时间近乎减半

Amphion 团队发布 FlexiSLM，并被 EMNLP 2026 主会接收。它不再让 Speech LLM 以固定帧率处理整段语音，而是根据信息密度动态分配语音 Token，同时允许开发者直接指定目标帧率；同一个模型可在 4–12.5Hz 之间运行，无需针对不同帧率重新训练。

• 输入和输出两端都支持动态帧率： 输入侧会合并相邻高度相似的语音特征，在停顿、拖音等冗余位置减少 Token；输出侧 Talker 同时预测「生成什么声音」和「这个声音持续多久」，为信息密集片段保留更高时间分辨率。

• 可直接指定目标帧率，而不是调压缩阈值： 部署时可直接要求模型以 4Hz、6.25Hz 等目标帧率生成。实验中请求 6.25Hz 时实际平均约为 6.24–6.25Hz，请求 4Hz 时约为 3.99–4.00Hz，误差低于 0.1Hz。

• 输出 Token 接近减半，S2S 性能仅小幅下降： 保持输入 12.5Hz、将输出从 12.5Hz 降至 6.25Hz 后，S2S 综合得分由 67.2 降至 66.2；即使输入、输出都降到 6.25Hz，S2S 得分仍达到 64.3，高于论文中的固定帧率 7B 基线。

• 完整响应 RTF 从 1.17 降至 0.59： 将输出帧率降至 6.25Hz 后，推理时间接近减半；相比 Qwen2.5-Omni-7B 的 1.57 RTF，最高约快 2.7 倍。团队同时开源代码、模型权重以及约 420 万条、2.6 万小时的 Speech-to-Speech 数据。

https://flexislm.github.io

4、Liquid AI × Artificial Analysis 开源端侧 AI 基准平台 Pipette：不再只测模型，而是评测「模型 + 量化 + 运行时 + 设备」完整组合

Liquid AI 与 Artificial Analysis 联合发布 Pipette，面向手机、电脑和嵌入式设备上的基础模型评测。与传统榜单只比较模型能力不同，Pipette 将一次端侧部署视为「模型 + 量化方式 + 运行时 + 设备」的完整系统，同时测量质量、首 Token 延迟、吞吐、端到端延迟和内存占用，让开发者直接判断某个模型在目标硬件上是否真正可用。

• 同一个模型要连同部署方式一起测： Pipette 会区分不同量化精度、llama.cpp 版本、设备和上下文长度，因为这些因素都会改变模型在真实设备上的速度、内存和能力表现，而不能仅从云端全精度模型成绩推断。

• 已经积累大规模真实设备数据： 平台当前覆盖 30+ 模型、多个量化格式和 1,000+ 种部署配置，对应 10,000+ 项测量结果；首批设备包括 M5 Max MacBook Pro、iPhone 17 Pro 和 Galaxy S26 Ultra，并将继续扩展 AMD 等硬件。

• 可直接观察质量、速度与内存之间的取舍： Dashboard 可按设备、模型、量化方式、上下文长度等筛选，并将模型质量与首 Token 延迟、生成速度、峰值内存等指标放在一起比较，而不是压缩成单一排名。

• 完整评测链路开源： Pipette 提供 macOS、Windows、iOS 和 Android 客户端，以及 benchmark 管理、运行和评分组件；Artificial Analysis 负责审核评测方法，并将端侧性能数据与模型质量评测结合。

https://www.liquid.ai/blog/pipette-on-device-ai-benchmarking-by-liquid-ai

02 有亮点的产品

1、独立开发者打造实时 AI 游戏伴侣 Varkos：能在《上古卷轴 V：天际》中边听边行动，大部分推理在本地完成

独立开发者 Pantelis Kalogiros 展示实时 AI 游戏伴侣 Varkos，目前运行于《上古卷轴 V：天际》。与主要负责 NPC 对话的 AI Mod 不同，Varkos 会持续听取玩家语音，并结合游戏世界状态规划行动：战斗、寻找和递交物品、等待条件触发后继续任务，甚至可以执行捉迷藏等持续数分钟的多步计划。

• 把语音指令直接变成游戏行动： Varkos 会将「拿起药水，等我发射箭作为信号后再送过来」拆成持续计划，记录目标、等待游戏事件发生，并根据世界状态继续、修正或停止后续动作。

• 实时链路以本地模型为主： 语音识别使用经过流式改造的 Qwen3-ASR 1.7B，每 40–80ms 处理一批音频；行动理解由作者设计的 ALE 系统结合文本、规则、分类器和实时世界状态完成，约需 2–20ms；语音生成使用 PocketTTS-Raven 或 Qwen3-TTS。

• 人格会随共同经历长期变化： Varkos 不只有固定人设，玩家与它的互动会逐渐改变其情绪、词汇和性格倾向。当前这一较慢的人格演化过程仍依赖云端大模型，但被放在实时行动链路之外。

• 目标是不只服务一款游戏： 当前首先接入《天际》，但系统设计上希望未来让同一个角色跨游戏存在；作者计划陆续开源部分组件，并进一步支持多个 AI 角色之间的真实互动。

https://pantel.is/projects/ai-gaming-companion/

2、前 MiniMax 技术合伙人杨斌创立 Voice AI 公司 BreezeBlue：获 600 万美元种子轮，押注实时语音交互

前 MiniMax 技术合伙人、视觉生成模型团队负责人杨斌于 2025 年底创立 BreezeBlue，目前已完成 600 万美元种子轮融资，由元璟资本、红点中国联合领投。公司希望从 TTS 切入实时语音交互，让 AI 不只生成自然语音，还能理解角色设定、场景和交流意图，并在长期互动中持续保持角色与表达一致性。

• Breeze TTS 2 主打「设计声音 + 指导表演」： 用户可以直接用自然语言描述年龄、口音、音色、性格和表达方式，从零生成角色声音；也可以基于已有声音进一步控制语气、口音、笑声、叹气、紧张或疲惫等表现，并支持一句话内随时间变化的表演指令。

• 模型侧 TTFB 最低 40ms： Breeze TTS 2 面向实时交互优化，支持 50+ 种语言；在 Artificial Analysis TTS 榜单中排名全球并列第四。团队称参评声音均通过零样本声音设计生成，没有针对测试集额外录音微调。

• 下一阶段从「生成语音」走向「参与交互」： BreezeBlue 将技术路线分为生成式语音智能和交互式语音智能两个阶段，后者重点解决持续理解情境、判断何时倾听或回应、接受打断、主动确认以及与用户共同推进任务。

• 已开始进入长期角色化场景： 团队目前约 15 人，BreezeCreator 已面向创作者提供声音设计与生成能力，企业侧则通过 API 应用于虚拟主播、互动漫剧、角色扮演和 AI 游戏等场景。

（@智能涌现）

3、宝马集团旗下风投 BMW i Ventures 投资全双工语音模型公司 Familiar Labs：让 Voice Agent 在说话时继续听，面向生产级外呼场景

宝马集团旗下风投 BMW i Ventures 宣布投资 Familiar Labs，这家公司前身为 MetaVoice Labs，正在开发面向生产级 Voice Agent 的全双工语音模型。与常见 ASR→LLM→TTS 级联方案需要等待一轮说完再处理不同，Familiar 的模型可以在生成语音的同时持续监听用户，并实时处理打断、重叠说话和简短回应等自然对话行为。

• 团队来自 Wayve 与 Amazon 语音业务： CEO Siddharth Sharma 曾是自动驾驶公司 Wayve 创始工程师；CTO Vatsal Aggarwal 曾负责 Amazon Alexa、AWS Polly 的生成式语音工作，并开发过开源语音模型 MetaVoice-1B。

• 全双工模型直接解决「抢话」和打断问题： 模型在自己说话时仍持续处理用户语音，不必等当前回复结束后才响应；BMW i Ventures 认为，这类实时交互能力是语音 Agent 从 Demo 进入高风险生产场景的关键。

• 首先瞄准企业外呼 Voice Agent： Familiar 重点面向催收、销售线索筛选、预约等主动外呼场景。公司数据显示，使用行业常见语音模型时，超过 40% 的电话会在前 30 秒内结束，因此对话时机、打断处理和重叠语音会直接影响业务结果。

• 强调可进入企业自己的技术栈： Familiar 区别于封装在大型 AI 助手中的实时语音能力，让企业能够自行集成、定制和部署模型，并接入自己的安全与合规系统。

  
  
  

03 有态度的观点

1、 Sam Altman：AI 权力集中同样「反人类」，言论被指暗讽 Anthropic

OpenAI CEO Sam Altman 在 David Senra 8 月 23 日上线的访谈中表示，他担心 AI 的控制权最终集中到少数公司或个人手中。相较于由少数机构替社会决定技术方向，他主张让更多人实际参与并影响 AI 的未来，让社会与模型共同演进。

Altman 没有点名具体公司，但他批评一些 AI 从业者一边宣称技术有 25% 的概率带来严重灾难、可能让一半岗位消失，一边主张限制谁能使用最强模型、把决定权留给少数公司。

Anthropic CEO Dario Amodei 此前曾分别公开提出「25%」的 AI 灾难概率，并警告 AI 可能在数年内取代一半初级白领岗位，因此这段话被外界解读为暗指 Anthropic，但 Altman 本人没有确认这一指向。

正确的路径，是让人们深入掌握未来。社会与模型将共同演进。

Altman 同时承认 AI 脱离人类控制是现实风险。他反对的是，行业以保护世界为理由，要求公众用大量自由换取安全，并把技术控制权永久集中在少数机构手中。他讽刺这种主张相当于由技术公司向公众承诺治愈疾病、创造财富和娱乐，交换人们的自主权与影响未来的能力，并称这种权力安排「非常反人类」。

他的方案包含两层：一方面，社会选择应持续进入模型和产品的演进过程；另一方面，应扩大个人使用 AI 的能力。Altman 举例称，AI 将让更多人以过去无法实现的规模创办小型企业，这也是个人参与技术未来的一种方式。

这番表态并未否认安全治理，也没有提出放任前沿模型发展的主张。Altman 划出的边界是，控制失配模型的制度不能永久把决定权交给极少数机构；安全、自由与个人能动性需要在同一套治理框架里处理。

（@APPSO）

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示：个人观点，仅供参考