Qwen-Audio-3.0-Realtime 发布，支持自主智能体工具调用丨日报

开发者朋友们大家好：

这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement）领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@koki、@鲍勃

01 有话题的技术

1、阿里通义发布实时语音交互大模型 Qwen-Audio-3.0-Realtime：集成双工控制子模型，支持自主智能体工具调用

阿里通义全面升级实时语音交互大模型 Qwen-Audio-3.0-Realtime（原 Fun-Realtime-AudioChat），推出推理更强的 Plus 与速度更快的 Flash 两个版本。该模型通过在线策略蒸馏框架，将文本大模型的推理与工具调用能力无缝迁移至语音端，实现了兼顾低延迟与复杂推理的原生双工语音对话。

在线策略蒸馏架构：通过实时纠正与多教师蒸馏保留文本 LLM 推理深度。模型采用 On-Policy Distillation（在线策略蒸馏）框架，由文本大模型对语音模型的生成进行实时纠正；同时引入多教师蒸馏策略，由口语多轮偏好、通用、Agentic、音频理解四类专用教师模型共同完成蒸馏，防止性能偏科。
无指令自主智能体能力：支持 FunctionCall 自动触发与记忆联动。模型无需用户发出明确指令即可自行调用外部工具，且调用结果自动融入上下文记忆以供后续多轮追问。模型基于标准 FunctionCall 协议，支持引入 MCP（Model Context Protocol）、外部 API 和知识库。

多模态双工控制：内置专用控制子模型并开放 audio_prompt 声纹锁定。模型内置「多模态感知的双工控制」子模型，通过综合分析音频信号、语义及声纹特征判断交谈时机，支持随时打断与背景噪声过滤。API 预留 audio_prompt 字段，允许用户上传音频样本以锁定特定说话人声纹。

高口语鲁棒性：VoiceBench 得分达 92.5，口语化提问性能衰减仅 2.0 分。在语音问答基准 VoiceBench 上，Plus 版本在书面化与口语化提问下的得分分别为 92.5 和 90.5；在多轮音频对话 AudioMultiChallenge 测试中，Flash 版本标准与口语化提问得分分别为 43.6 和 38.1。

（@通义实验室）

2、OpenMOSS 开源实时视频理解模型 MOSS-VL-Realtime：实时双工理解支持 SGLang 框架

OpenMOSS 团队正式开源实时视频理解模型 MOSS-VL-Realtime，将视频流、用户提问与模型回答整合至单条 token 流中，打破了传统的离线「先看后答」范式。该模型支持随时打断、主动沉默以及基于新输入画面的动态纠错，实现了与实时视频流同频的端到端双工交互。

解耦交叉注意力与 XRoPE 统一编码：采用交叉注意力架构将视觉编码与语言推理进行解耦，以降低动态视频流的响应延迟；引入 XRoPE 算法将文本 token 与视频 patch 映射至统一的三维空间，并通过专用 token 为每一采样帧锚定绝对时间戳。
单 Token 流融合与 <|silence|> 主动沉默：视频、提问和回答共享同一上下文空间，提问可在任意时间点插入。当画面关键信息不足时，模型会自动输出 <|silence|> 显式沉默 token 持续观察；若视频发生突发转折，模型可打断并纠正此前的输出。

256K 上下文窗口与 16fps 采样训练：支持 256K 上下文窗口，可容纳小时级长视频。训练端首次实现了支持 Cross-Attention-Mask 的 FlashAttention，原生支持 2048 帧序列，并在常规 1fps 外新增 16fps 高帧率采样，以支持小球碰撞、跳绳计数等快速变化画面的动作捕捉。
SGLang 深度适配与 5.48 倍吞吐性能提升：模型完成从底层训练到推理引擎的全链路适配，支持 SGLang 官方框架。实测端到端视频推理吞吐量较 Transformers 原生实现提升超 4.57 倍，在同等 SGLang 框架下，推理性能较 Qwen3-VL 提升 5.48 倍。

GitHub:

https://github.com/OpenMOSS/MOSS-VL

（@模思智能）

02 有亮点的产品

1、PixVerse 获 4.39 亿美元 C 轮融资，发布基于 R1 实时世界模型的游戏引擎 PixVerse Game Engine

AI 视频生成平台 PixVerse 宣布完成 C 轮延展融资，使该轮总融资额达到 4.39 亿美元。公司同步推出基于 R1 实时世界模型的 PixVerse Game Engine，正式进军游戏与互动娱乐领域，将视频生成能力转化为可即时响应、连续交互的实时生成式体验。

4.39 亿美元 C 轮融资：本轮延展融资由 Alibaba（阿里巴巴）、Lollapalooza Capital、Ivy Capital、Grand Mount Capital、东方富海（Dongfang Fuhai）、Mirae Asset、蓝色光标（BlueFocus）、CloudAlpha 以及老股东 iGlobe Partners 和 OCBC（华侨银行）旗下的 LionX Ventures 共同参与，累计 C 轮总额达 4.39 亿美元。
PixVerse Game Engine 机制与表现分离：该引擎将 R1 实时世界模型应用于游戏创作，将游戏抽象机制与视觉表达解耦。创作者或玩家通过自然语言定义规则与交互，系统实时渲染出对应的视觉与机制反馈，无需依赖传统的建模、动画和声音设计等前置开发管线。
R1 实时世界模型迭代：R1 模型于 2026 年 1 月发布，将视频生成由固定输出转为连续交互流；2026 年 4 月更新了「共享世界」与「个性化头像」功能，支持多用户共同接入并实时塑造同一个 AI 生成世界。
实时互动直播应用：基于 R1 模型的流式生成能力，PixVerse 推出实时互动直播技术，使 AI 生成角色或虚拟主播能够实时响应观众的输入并进行即时连续的画面交互。

官网链接：

https://world.pixverse.ai/game/invite/

(@PixVerse）

2、关于发布 7 款提供手机端侧生成式人工智能服务已备案信息的公告

促进生成式人工智能服务创新发展和规范应用，网信部门会同有关部门按照《生成式人工智能服务管理暂行办法》要求，有序开展生成式人工智能服务备案工作，现将新增的「Apple 智能」等 7 款提供手机端侧生成式人工智能服务备案信息予以公告。

（@网信中国）

3、曝 OpenAI 首款硬件将是可移动、无屏幕 AI 音箱

据报道，OpenAI 计划推出一款可移动、无屏幕的智能音箱，作为面向人工智能时代的「家庭计算机」和 AI 伴侣。

该设备仍在研发中，预计今年公布、明年上市。报道称，这款设备将支持控制智能家居、播放媒体、回答问题、处理消息等功能，并接入 ChatGPT 的能力。

产品配备摄像头及其他传感器，可理解用户所处环境和上下文；内置电池则允许用户将其在家中不同房间之间移动。OpenAI 还希望设备能够随着使用时间增加，逐步了解用户并提供更个性化、主动式的服务，例如主动推送信息或预测用户需求。

在交互方面，该设备将使用更先进的 ChatGPT Voice Mode 版本 GPT-Live，支持同时聆听和回应，并让对话更接近自然交流。设备还加入了可自行移动的机械结构，以营造「像活着一样」的感觉。报道称，OpenAI 硬件部门目前正在开发约 5 款产品，后续还考虑推出可替代智能手机的移动 AI 设备、吊坠等可穿戴产品，以及家用机器人。

同时，该产品也面临法律风险。苹果日前起诉 OpenAI，指控其窃取商业机密，并要求限制 OpenAI 的硬件业务。OpenAI 则表示，自己「无意获取其他公司的商业机密」，目前也「没有发现这起诉讼具备依据的证据」。

( @APPSO)

03 有态度的观点

1、谷歌 DeepMind CEO 哈萨比斯：人类有个宝贵的窗口期来确保 AGI 是安全的

7 月 15 日消息，谷歌 DeepMind CEO 德米斯 · 哈萨比斯发出明确警告：能力极强的 AI 可能距离人类已经不远，社会各界必须加快准备。

哈萨比斯在 X 平台发布短文称，通用人工智能（AGI）到来前，人类仍有一个「宝贵的时间窗口」可以采取行动，AGI 可能再过短短几年便会出现。

哈萨比斯过去曾预测，AGI 最早可能于 2030 年问世，并多次警告社会准备远远不足。他去年在达沃斯表示：「未来五到十年发生的变化将极其重大，但我认为人们仍没有真正认识到这一点。」此外，他此前还提出，应当让哲学家、经济学家和其他领域的专家参与讨论，共同评估 AI 即将带来的深层社会影响。

哈萨比斯表示，AI 标准机构可以借鉴金融业监管局的模式。

哈萨比斯此次写道：「我们希望按照什么样的价值观生活，人生的意义和目标将是什么，甚至人类自身的处境会发生怎样的变化？显然，寻找这些问题的答案不能也不应只交给技术人员，而需要整个社会共同参与，定义这个新的时代。」

哈萨比斯进一步强调，留给人类采取行动的时间已经十分有限。「我们现在共同作出的选择，将决定文明下一阶段的发展方向。」

（@极客公园）

04 社区黑板报

招聘、项目分享、求助……任何你想和社区分享的信息，请联系我们投稿。（加微信 creators2022，备注「社区黑板报」）

1、活动推荐：Signal Eve | 创见前夜：在噪音到来之前，让真正的信号先发生

7 月 16 日晚，Impa Ventures 将与 SEE Fund 联合举办「Signal Eve｜创见前夜」，并邀请 Airwallex 空中云汇、TTC、RTE 开发者社区、亚马逊云科技、世博天地、S 创等生态伙伴一起共创。

我们希望它成为 WAIC 前夜的高密度交流场：在噪音到来之前，让真正活跃在 AI 一线的 founder、builder 和 investor 彼此看见，交换一手判断，捕捉那些尚未成为共识的早期信号。

详情链接：

Signal Eve | 创见前夜：在噪音到来之前，让真正的信号先发生

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点，仅供参考