OpenAI 发布 GPT-Live 语音模型：全双工连续交互+后台 GPT-5.5 推理丨日报

开发者朋友们大家好：

这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement）领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@koki、@鲍勃

01 有话题的技术

1、OpenAI 发布 GPT-Live 语音模型：全双工架构，支持后台委派 GPT-5.5 深层推理

OpenAI 推出新一代语音模型 GPT-Live，现已内置于 ChatGPT。该模型采用全新的全双工架构，支持音视频与文本的高并发连续交互，并可将深度推理任务异步委派给后台的 GPT-5.5 模型。此更新彻底解决了传统级联式与轮次式语音系统响应延迟高、易受静音误判打断的技术瓶颈。

全双工连续交互：GPT-Live 不再通过离散消息处理对话，而是每秒多次对输入流进行交互决策（如主动插入「嗯嗯」反馈、处理打断、调用工具或保持静默）。该架构支持边听边说，彻底解决了背景噪声误触发或用户思考停顿时被模型强行打断的体验痛点。

前后台任务解耦：GPT-Live 专门负责低延迟的实时语音交互，对于网页搜索、复杂推理或长链路智能体任务，系统会将其异步委派给 GPT-5.5 系列模型。任务处理期间，GPT-Live 可维持前端对话不中断，并在结果生成后无缝嵌入回复流。

多层级推理配置：用户可根据任务需求选择不同的推理级别，其中 Instant 版在后台运行 GPT-5.5 Instant，Medium 和 High 版则分别采用中、高推理强度的 GPT-5.5 Thinking 模型。

测试基准表现显著提升：相比高级语音模式，GPT-Live-1 在专家级科学推理（GPQA）、智能体式网页搜索（BrowseComp）以及多轮语音智能体任务（τ⁻³-Voice Telecom）评测中表现均大幅优于高级语音模式。

多模态可视化卡片支持：在语音交互过程中，系统可实时输出天气、股票、体育及地图等富媒体可视化数据卡片，并继续支持原有的搜索、记忆、图像和文件上传接口。

音频原生安全评估与对齐：引入音频原生评估与基于生成音频的合成评估，重点针对自伤、情感依赖、暴力等语音特有风险进行红队测试；青少年适龄行为已被直接训练进模型内部。部署可在模型说话时生效的实时保障措施，高风险状态下可引导模型安全回应或直接中断通话；模型限制使用 9 种预设声音，并内置防止模仿真实人声的防冒充算法。

该模型现已面向全球 ChatGPT 用户逐步推出，GPT-Live-1 默认提供给 Go、Plus 和 Pro 用户，GPT-Live-1 mini 默认提供给免费用户；API 接入通道已开放开发者注册。

博客链接：

https://openai.com/zh-Hans-CN/index/introducing-gpt-live/

API 申请通道：

https://openai.com/form/gpt-live-1-in-the-api/

( @OpenAI@X)

2、MOSS 开源 0.9B 端到端多说话人 ASR 模型：支持 128k 上下文与 90 分钟超长音频转录

MOSS 发布 MOSS-Transcribe-Diarize-0.9B 语音转录模型。该模型采用端到端自回归生成架构，将 ASR、说话人分离（Diarization）与时间戳预测统一建模，彻底解决了传统级联系统（如 WhisperX）在长音频场景下的误差传播与时间戳漂移问题，在 0.9B 参数量级下实现了对超长复杂会议音频的结构化转写。

端到端自回归架构：采用 Whisper-Medium 音频编码器结合 Qwen3-0.6B Causal Decoder。模型不再依赖独立的 ASR 与分离模块，而是将时间信息离散化为 token，在统一上下文中通过联合优化提升长程建模的一致性。
128k 窗口与 90 分钟长序列处理：具备 128k 长度的上下文窗口，支持最长 90 分钟音频的一次性推断，无需切片拼接。模型能跨几十轮发言保持说话人身份一致，并能处理远距离指代与重叠语音。
AISHELL-4 性能记录：在 AISHELL-4 多说话人会议基准测试中，多说话人综合字符错误率（cpCER）降至 14.98%，较现有主流模型提升约 40%；说话人归属稳定性指标（Δcp）仅为 0.79，表现出极高的角色追踪准确度。
原生热词增强能力：通过在识别阶段直接介入模型感知，用户可预配置人名、专业术语或项目代号。相比后处理替换，该技术能有效从源头减少同音字识别错误，支持垂直行业（医疗、金融等）专业场景。
极低推理成本与实时率：模型生成速度约 100 token/s，实时率（RTF）低至 0.017。在 NVIDIA 4090 单并发环境下，5–10 分钟音频仅需 30 秒即可完成转录。

此外，MOSS 还同步发布了面向复杂英语场景的语音识别模型 MOSS-Transcribe。该模型针对标准英语、多样口音、低声耳语等真实场景进行了专项优化，在复杂英语语音识别任务中表现更加稳定和精准。

https://github.com/OpenMOSS/MOSS-Transcribe-Diarize

（@模思智能）

3、香港中文大学等提出实时全模态服务系统 LiveServe：引入交互感知调度与 KV 缓存预加载，音频首包延迟降低至多 2.21 倍

香港中文大学等研究团队提出专为全模态大语言模型实时语音交互设计的新型服务系统 LiveServe。该系统突破了传统分阶段执行引擎各自孤立调度的局限，引入全局交互平面，通过实时感知客户端播放进度和打断信号，动态调整推理调度与键值缓存管理。实验表明，LiveServe 在保障多轮对话流畅度的同时，大幅度降低了无效计算，并显著压低了首包延迟。

基于紧急度的三分级调度机制：系统将请求划分为三个紧急度：U0（播放紧急，缓冲区即将耗尽）、U1（首包紧急，未生成首个可播放包）和 U2（效率调度，缓冲区充足）。针对 U2 请求，系统使用平衡显存压力与打断风险的效用函数进行排序，避免无节制超前生成。
基于下次使用时间预测的缓存换出：相比传统最近最少使用算法，该系统预测会话下一次被调用的时间。优先换出仍在长音频播放状态（短期无需使用）的会话缓存，保留即将播放完毕、准备进入下一轮对话的会话缓存，并优先抛弃复用价值较低的后缀块。
语音与打断触发的异步预加载：系统检测到用户开始说话或打断的瞬间，将对应会话的已换出缓存从主机内存异步预加载至 GPU 显存。此举将重载延迟从下一轮对话的关键路径中移出，消除了 71 毫秒的同步等待，使文本
减少高达 78% 的无效过度生成：在多轮交互打断场景下，由于调度器能感知客户端播放进度，LiveServe 将因用户打断导致「已计算未收听」的词元浪费比例从传统系统的 44% 压缩至 12% 左右，平均减少了 72% 至 78% 的无效 GPU 计算消耗。
吞吐量与尾延迟双重优化：相较于 vLLM-Omni 基线，LiveServe 在保证播放流畅的前提下，将已完成请求的吞吐量平均提升 1.15 倍（最高 1.56 倍），P90 音频首包延迟平均降低 1.55 倍（最高 2.21 倍）。

论文链接：

https://arxiv.org/pdf/2606.22983

（@机智流）

4、蚂蚁灵波发布世界模型 LingBot-World 2.0：采用 14B/1.3B 双版本架构，支持小时级实时交互生成

蚂蚁灵波正式发布开源世界模型 LingBot-World 2.0，实现了秒级世界加载与小时级持续交互生成。该模型通过引入双智能体架构与混合注意力机制，解决了长时序世界模型中常见的 KV Cache 爆炸与逻辑崩溃问题，支持实时文本事件注入与物理法则自演化，标志着交互式世界模型从「分钟级测试」向「长时序运行」的范式演进。

双智能体（Dual-Agent）协同架构：由负责宏观语义、因果推理与时间规划的 Director Agent（基于 VLM）和负责底层物理动态模拟与高保真视觉渲染的 Pilot Agent（基于 DiT）组成。通过「大小脑」分工，模型在工程层面摊平了生成负载，实现了实时的环境填充与角色规划。
MoBA 混合注意力机制：提出 Mixture of Bidirectional and Autoregressive （MoBA）机制，在自回归生成路线中嵌入双向注意力「补丁」。该机制有效抑制了长上下文下的过拟合与画质下降，使模型能够突破传统世界模型的「分钟极限」，实现小时级的稳定输出。

因果自回归物理引擎：模型不再单纯预测像素，而是同步预测受物理法则约束的离散潜状态（Latent State）。这种因果自循环架构无需在缓存中保留全部历史帧的 KV，避免了显存溢出，确保了重力、流体及碰撞等物理现象的长时序一致性。

实时事件注入接口：提供开放的事件（Event）接口，支持用户在运行时通过特定语法（如通过快捷键触发文本指令）动态修改世界逻辑、环境风格或角色技能。模型可根据语境自主生成攻击、施法或环境演化等新事件。
多尺寸模型与部署优化：
- 14B 版本：作为开源基座，采用非商用开源协议，针对高精度模拟与自演化世界研究。
- 1.3B 蒸馏版：支持商用协议，可在消费级显卡上实现 720p/60fps 的稳定视频流输出。

( @APPSO)

02 有亮点的产品

1、Beambox 获同创伟业独家投资：电子吧唧年营收破千万，集成 AIGC 与惯性交互

深圳消费科技品牌 Beambox 宣布完成新一轮融资，由同创伟业独家投资。公司成立仅一年多，核心产品「电子吧唧」（动态电子徽章）年营收已突破千万元，成功打入日本、东南亚及北美市场。本轮资金将用于 AI 智能体系列新品研发、交互性能迭代及全球品牌营销。

圆形显示模组规格：典型型号 Nikko 搭载 1.8 英寸圆形屏幕，分辨率 360×360（285 PPI），峰值亮度 350 cd/m²。设备采用蓝牙 5.4 协议，支持秒级内容传输与镜像显示。
物理传感交互：集成陀螺仪与 IMU 惯性传感器，支持通过晃动或旋转动作触发特定的 UI 创意交互逻辑，将物理运动转化为数字内容的动态反馈。
AIGC 内容分发链路：配套 App 集成大模型能力，支持用户通过自然语言指令（Prompt）直接驱动 AI 生成专属徽章图案、GIF 或短视频，实现从 AIGC 创作到硬件佩戴的闭环。
AI 智能体养成系统：在研的 Beampet-AI 互动设备融合了传感器与麦克风，支持具备长期记忆、角色设定与成长反馈的交互架构，旨在将 LLM 能力转化为具身的情感伴侣（AI Companion）。
全球供应链与垂直渠道：依托创始团队的跨境供应链背景，针对日本 ACG、韩国 K-pop 应援及北美潮流 Z 世代社群进行精准分发，实现「硬件+内容平台+UGC 生态」的商业模型。

（@AING 硬迹）

03 有态度的观点

1、Decagon CEO：开源模型和前沿模型不是零和竞争

美国 AI 初创公司 Decagon CEO Jesse Zhang 日前发布了一篇题为「Everyone is wrong about open source AI in the enterprise」的文章，提出了一个反直觉的论断：

在企业级 AI 市场，开源模型与闭源模型之间并不存在此消彼长的竞争关系，而是同一条产品生命周期中的两个不同阶段。

Zhang 以自家公司为例：Decagon 目前约 90% 的工作负载运行在开源模型上，但这并非出于成本考量，而是因为客户服务场景对延迟极为敏感，需要经过大量微调的小型快速模型，而前沿闭源模型在微调灵活性上无法满足这一需求。

他将这一路径概括为「闭源主导发现，开源接管生产」——企业在探索一个全新用例时，倾向于选用能力最强的前沿模型；等到用例完全成熟、输入分布稳定、失效模式明确之后，再将任务迁移至经过专项微调的轻量开源模型。

04 社区黑板报

招聘、项目分享、求助……任何你想和社区分享的信息，请联系我们投稿。（加微信 creators2022，备注「社区黑板报」）

1、Demo Day@Physical AI Camp，与 16 家 Voice First AI 硬件团队面对面！7.16 上海丨超音速计划 2026

像《Her》那样完美的语音 AI 硬件从未真正到来，但它正在被拆解成一个个真实的产品：会议转录硬件、桌面机器人、AI 挂坠、个人记忆设备、亲子 AI 潮玩……这一期 Physical AI Camp 的 Builder，正在给出属于自己的答案。

7 月 16 日，WAIC 世界人工智能大会前夕，我们将在上海世博天地举办 Demo Day @ Physical AI Camp，16 家「Voice First」AI 硬件团队将迎来第一次集体亮相。

如果你正在关注 Voice AI、Physical AI、多模态 AI 或智能硬件，或者只是好奇 AI 离开屏幕后，会最先住进哪些真实产品里，欢迎来到现场，一起体验真实 Demo，也和 Builder、投资人、生态伙伴面对面交流。

上海｜7 月 16 日（周四）13:30–17:30

点击链接或扫码报名@所有人

https://www.rtecommunity.dev/t/t_SmZTTDkbYlhxSm

详情链接：

Demo Day@Physical AI Camp，与 16 家 Voice First AI 硬件团队面对面！7.16 上海丨超音速计划 2026

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点，仅供参考