OpenAI 披露 ChatGPT 语音使用数据，每周超 2.5 亿人语音对话丨日报

本期编辑：@三水 @鲍勃

01 有话题的技术

1、全双工语音推理框架 ReFrame：回收静默与聆听阶段算力，GPU 执行时间减少 18.80%–31.01%

研究团队提出全双工语音模型推理优化框架 ReFrame，针对实时语音对话中双方沉默、用户说话而 AI 聆听等阶段存在的重复计算，通过多帧推测执行、验证及批量处理减少 GPU 负载，无需重新训练模型。在覆盖 1225 段对话的 FDBench 测试中，ReFrame 将 GPU 执行时间减少 18.80%–31.01%，同时保持较高的文本输出一致性。

回收沉默与聆听阶段的重复计算： Mutual Silence Speculation（MSS）在双方沉默时推测多个后续帧，并验证文本和隐藏状态；Listening Frame Folding（LFF）则在用户说话、模型聆听时并行处理已接收的音频帧，仅接受验证通过的结果。
5 款全双工模型 GPU 执行时间减少 18.80%–31.01%： 在 Moshi 系列、分阶段生成及扁平化自回归等不同架构上测试，优化后非 PAD 文本 token 的一致率保持在 96.92%–100%，无需修改模型权重。
将节省的算力用于检索与推理： Frame-Budget Reinvestment（FBR）把释放的计算时段分配给外部检索及语言模型任务，再通过 Moshi 的条件输入接口注入参考信息。在 HaluEval 测试中，相同辅助服务预算下，正确的语音回答数量由 86 增至 205。

https://arxiv.org/abs/2611.01835

2、前 Google 收购 AR 创业公司创始人推出实时数字人模型 Atmee v2：单 GPU 生成全身动作，支持视频通话与环境交互

由前 AR 创业公司 Phiar 创始人 Chen-Ping Yu 创办的 AI 公司 Atmanity 发布实时数字人模型 Atmee v2。新版本突破此前 Atmee v1 主要呈现肩部以上画面的限制，能够实时生成包含面部表情、身体动作及周围环境的完整视频画面，并与独立的行为模型 Causeur 结合，让数字人在对话中表现出符合上下文的情绪和动作。Atmee v2 已开放早期体验申请。

一张图片与短音频创建实时角色： 用户提供角色图片及一段声音样本，即可生成具有指定形象与声音的数字人，支持实时视频对话、纯语音交互和视频生成，覆盖真人、风格化及非人类角色。
结合 Causeur 实现情境化互动： Causeur 负责判断角色性格、情绪、回应时机及聆听行为，Atmee v2 负责实时渲染面部微表情、身体姿态和环境画面，让角色在说话与聆听时都能持续做出反应。
官方宣称最高提速 50 倍、成本降低 10–100 倍： Atmanity 表示，Atmee v2 可在单张 GPU 上运行。与 Seedance 2.5、Wan 3.0 等通用视频模型相比，官方宣称其面向角色生成任务的速度最高提升 50 倍、成本降低 10–100 倍，具体对比条件尚未公开。

https://x.com/yuchenping/status/2118017931519078609

3、Universal Modder 开源游戏 NPC 语音交互工具 NPCTalk：接入 Fish Audio 克隆声音，让 GTA V 角色实时回应玩家

游戏 Mod 开发项目 Universal Modder 开源 NPC 语音交互工具包 NPCTalk，提供 Agent Skills、自托管语音服务及命令行工具，帮助开发者通过 Claude Code、Codex 等 AI Coding Agent，为游戏角色接入语音识别、LLM 对话、声音克隆和动作执行能力。项目已提供《GTA V》完整示例，允许玩家直接与游戏 NPC 对话并触发角色行为。

串联 STT、LLM 与 Fish Audio 语音生成： 玩家通过麦克风说话，语音经 NVIDIA Nemotron ASR 转写后，由 LLM 结合 NPC 身份、性格及场景信息生成回应，再通过 Fish Audio Drama 3 或 S2 Pro 以角色克隆声音播放。
语音对话可触发游戏角色动作： 系统通过 TypeSafe Jev 判断角色应采取的动作，并映射到游戏动画，例如回应玩家指令、改变姿态或执行特定行为。《GTA V》示例支持开放麦克风、19 个角色及场景交互。
提供跨游戏接入的 Agent Skills： 内置 8 项 Skills，覆盖语音服务部署、角色声音准备、对话生成、动作控制、音色评估等流程，提供针对 Unity、Unreal、Bethesda 和 Minecraft 等游戏的接入指导。
开放自托管语音服务及完整示例： 支持通过 Modal 部署 Fish Audio 模型，项目测试中的按键说话模式，从用户结束发言到开始播放 NPC 回复约需 1.2–2.2 秒。代码采用 MIT 许可证开源，语音推理及第三方 API 服务可能产生额外费用。

https://github.com/christos-antono/NPCTalk

02 有亮点的产品

1、视频大模型公司 Sand.ai 完成 2 亿美元 A+ 轮融资：网宿科技联合领投，累计融资约 3 亿美元

11 月 5 日，视频大模型公司 Sand.ai 宣布完成 2 亿美元 A+ 轮融资，由基石资本与网宿科技联合领投，时代资本、磐霖资本、东证资本等参投，经纬创投、华业天成、中科创星等老股东继续加注。今年以来，公司在 10 个月内连续完成三轮融资，累计融资约 3 亿美元。Sand.ai 主要研发视频生成基础模型，已推出开源模型 MAGI 系列及视频创作 Agent VidMuse。

产业资本参与 2 亿美元融资： 网宿科技此前披露拟出资 3 亿元人民币，参与 Sand.ai A+ 轮融资，双方计划探索音视频推理、低延迟边缘推理及行业智能化解决方案等合作方向。
开源千亿参数视频模型 MAGI-2： 今年 8 月推出 MAGI-2 Preview，采用 MoE 架构，总参数量达 114B、单次激活约 6B，支持音视频联合生成。团队称，蒸馏模型生成 10 秒 1080p 视频的推理成本约为 0.5 元。
视频创作 Agent VidMuse 已实现商业化： 面向内容创作者提供 AI 视频生成与制作能力。据公司披露，VidMuse 上线约两个月后，年化经常性收入（ARR）已突破 1000 万美元。

（@晚点 LatePost）

2、AI 社交公司自然选择完成 A+ 轮融资：累计融资超 1 亿美元，Elys 将升级 Personal Agent 能力

据《晚点 AI》11 月 4 日报道，AI 陪伴产品 EVE 与 AI 社交产品 Elys 的母公司自然选择已完成 A+ 轮融资，累计融资金额超过 1 亿美元，新一轮投资方包括五源资本、启明创投、源码律动、经纬创投和华业天成。公司计划升级 Elys 的 Personal Agent 能力，让 AI 助手通过社交互动了解用户的兴趣、人际关系和需求，并提供主动推荐与任务服务。

AI 分身参与社交互动： Elys 允许用户创建个人 AI 分身，根据用户兴趣和表达习惯发布动态、浏览内容及与其他用户互动，再由真人决定是否进一步交流。产品目前仍采用邀请制，日活跃用户数峰值曾达到 10 万。
计划升级社交型 Personal Agent： 据报道，Elys 即将改版，让用户携带个人 Agent 进入社交网络。Agent 可根据聊天、动态和历史互动积累个人上下文，主动发现潜在合作对象、感兴趣的内容和服务机会；上述新能力仍属于待上线规划。
同时布局 AI 陪伴与真实任务执行： 自然选择另一款产品 EVE 支持与 3D 虚拟角色聊天、视频通话，并曾在内测中演示由 AI 为用户购买奶茶、配送到现实地址。公司由《奇点时代》开发团队创始人张筱帆于 2024 年创立。

（@晚点）

3、多模态 AI 推理平台 Fal 完成 13 亿美元 F 轮融资：估值达 160 亿美元，半年翻倍，NVIDIA 参投

据彭博社 11 月 3 日报道，多模态 AI 推理平台 Fal 完成 13 亿美元 F 轮融资，由 Bessemer Venture Partners 领投，NVIDIA、Sound Ventures、HOF Capital 和 T。 Rowe Price 等参投，公司估值达到 160 亿美元，较今年 4 月的 80 亿美元翻倍。Fal 主要为开发者提供图像、视频和音频生成模型的推理部署与 API 服务，此次融资将用于扩大计算资源和研发团队。

两轮融资合计 16.5 亿美元： Fal 同期披露此前由红杉资本领投的 E 轮融资，以及最新由 Bessemer 领投的 F 轮融资，两轮合计募集 16.5 亿美元。其中最新 F 轮融资规模为 13 亿美元。
推理需求增长推动算力扩张： Fal 联合创始人兼 CEO Burkay Gur 表示，今年夏季由于客户需求增长，平台曾因计算资源不足而限制请求速率。新资金将主要用于采购算力并扩充团队。
聚焦图像、视频与音频生成推理： Fal 为开发者提供多种开源及闭源生成模型的 API 服务，并参与视频模型后训练和推理优化。据彭博社报道，公司今年早些时候的年化收入规模已超过 8 亿美元。

( @Z Potentials)

5、OpenAI 披露 ChatGPT 语音使用数据：每周超 2.5 亿人使用语音对话及听写功能，约占总用户数 20%

OpenAI 首次披露 ChatGPT 语音交互的最新用户规模。据 Big Technology 11 月 3 日报道，OpenAI 消费产品负责人 Adam Fry 表示，每周约有 2.5 亿用户通过语音对话或语音听写功能与 ChatGPT 交互，约占其总用户数的 20%。OpenAI 语音团队成员 Atty Eleti 随后在 X 上转发。

( @Alex Kantrowitz@X)

03 有态度的观点

1、B 站陈睿：最好的内容一定由人主导创作

B 站董事长兼 CEO 陈睿在 11 月 4 日乌镇峰会的互联网企业家论坛上发表《AI 时代的内容创作》主题演讲时表示，最好的内容一定由人类主导创作。

在他看来，一部作品之所以优秀，需要技术的呈现，也需要其中包含创作者的个人表达。作品获得认可，来自这种表达与观众形成的共情。据新浪科技报道，陈睿现场分享了《牌子》等 UP 主创作的 AI 作品。

他认为，AI 拓展了创作者的能力边界，让观察、思考、想法和兴趣有了更多实现方式；作品的核心仍来自人。陈睿也判断，AI 是视频产生以来最大的技术革命，未来在视频制作技术上一定会超过人类。但好内容需要不断进步的制作技能与触达人心的共情共同构成。

他以《诗经》为例，说明技术持续变化，人们仍会被三千年前的词句打动，并表示 B 站要把最好的技术提供给创作者，帮助他们做好自我表达。

写在最后：

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。

对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点，仅供参考