Thinking Machines 开源首款大模型 Inkling,原生多模态丨日报

图片


开发者朋友们大家好:


这里是「RTE 开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。


本期编辑:@koki、@鲍勃


01 有话题的技术


1、AI 创业公司 Xmax 发布 X2.0 模型:支持端侧实时交互式视频生成与相机流实时重绘 API

AI 创业公司 Xmax 发布了新一代多模态模型 Xmax X2.0,并同步上线了测试 Demo 及开发者 API。该模型主打端侧(On-device)实时交互能力,允许用户通过触控、物理动作或自然语言 Prompt 实时重绘相机画面,并直接引导视频动态生成。


  • 首创端侧触控视频生成:支持完全在设备本地(On-device)运行,用户可通过手指在屏幕上触控滑动的轨迹,直接引导静态图像或实时相机流中的主体产生相应的动态位移和动作。

  • 相机流实时交互重绘(Real-time Re-rendering):在相机持续录像状态下,模型可实时重写视频帧,支持动态替换画面中的人物角色、服装样式或整体视觉风格。

  • 物理感知数字人交互:支持在现实场景中嵌入数字角色,该角色能够对物理环境、用户的肢体运动以及触觉操作做出实时的物理碰撞与交互反馈。

  • 通用提示词实时驱动:采用通用提示词架构,允许用户通过自然语言 Prompt 实时改变镜头中的现实场景,降低了实时视频生成的交互门槛。


( @XmaxAIOfficial@X)



2、Thinking Machines 开源首款 975B MoE 大模型 Inkling:支持原生无编码器多模态与可控推理强度


 OpenAI 前首席技术官 Mira Murati 创立的 AI 初创公司 Thinking Machines Lab 发布了其首款开源权重多模态大模型 Inkling。该模型采用 975B 参数的 MoE 架构,支持原生音视频与文本跨模态推理,允许外部开发者直接下载、修改,并动态调节推理强度以平衡计算成本与响应延迟。


  • 975B 总参数与 41B 激活参数的 MoE 架构:整体沿用 DeepSeek-V3 的 MoE 设计,包含 256 个路由专家和 2 个共享专家(单 Token 激活 6 个专家),采用无辅助损失负载均衡机制。注意力机制以 5:1 比例交替设置滑动窗口与全局注意力层,配备 8 个 KV 头,支持最高 1M Token 上下文。

  • 原生无编码器多模态融合:弃用传统多模态编码器。音频信号以 dMel 频谱图输入,图像划分为 40×40 像素块并经 4 层 hMLP 编码,随后均通过轻量级嵌入层转化,与文本 Token 在同一 Transformer 架构中进行原生融合推理。

  • 可控推理强度(Reasoning Level):模型支持通过修改系统消息和 Token 成本来动态调整推理步骤。在 Terminal Bench 智能体编程评测中,Inkling 达到与 Nemotron 3 Ultra 相同性能仅需其三分之一的 Token 消耗,优化了长链工作流的延迟与成本。


图片


  • 12B 激活参数轻量版 Inkling-Small:同步推出总参数 276B、激活参数 12B 的轻量版预览,专门针对小模型优化了预训练数据,在编程与智能体等低延迟高并发场景下实现了逼近 41B 激活主模型的性能。


图片


  • 3000 万次异步强化学习(RL):在后训练阶段,模型经历超 3000 万次 Rollout 异步强化学习,思维链在不损性能的前提下实现自然压缩,消除了冗余语法表达,并原生内置安全防护。


图片



参考链接:

https://thinkingmachines.ai/news/introducing-inkling/


(@机器之心)



3、Hume AI 发布 Real World VoiceEQ 基准:基于百万级人类评分,多维度评测 40+ 语音模型听觉与情感表达


语音 AI 研发商 Hume AI(Hume)发布了多维度语音 AI 评测基准 Real World VoiceEQ。该基准基于超 100 万次人类真实评分,对 40 多个开源及闭源语音模型进行横向评测,揭示了当前语音模型在「文本转译推理」与「原生语音物理线索(语气、停顿、重音等)理解」之间的技术断层。


  • 百万级人类评分构建 60+ 评测指标:测试框架涵盖 40 多个主流开源与闭源模型,在 15 个以上维度中细分出 60 多个评估指标,重点锚定语音质量、情感适配度、真实感、对话合理性等人类实际体验维度。

  • 主流模型多依赖文本转译(Transcript)推理,缺乏原生语音线索感知:评测指出多数语音模型仍处于「先转译为文本、再进行逻辑推理」的级联阶段,无法直接处理语气、语速、迟疑(如「yeah」与「…yeah」的语义差异)和重音等原生语音物理信号(vocal cues)。

  • Speech-to-speech(S2S)端到端能力割裂:测试显示情感识别与自然响应能力在现有模型中尚未实现深度融合,部分模型长于情感识别却无法自然输出,部分模型语音流畅度高但丢失了情感上下文。

  • 传统静态基准高估实际表现,噪音与多轮对话成性能瓶颈:模型在面对口音、背景噪音、多人混音重叠、情感表达以及长周期多轮对话等真实环境(Real World)场景时,实际性能较传统清洁测试数据呈明显衰退。


( @hume_ai@X)



02 有亮点的产品


1、OpenAI 联合 Work Louder 发布 Codex Micro:13 键智能体控制外设,支持物理旋钮调节 LLM 推理强度

OpenAI 联合客制化外设厂商 Work Louder 推出专用硬件外设 Codex Micro(kbd-1.0-codex-micro)。该设备作为 ChatGPT Codex 智能体的物理控制台,通过实体按键、旋钮及 RGB 状态灯实现对智能体工作流、推理资源分配以及人机协同指令的物理化控制。这标志着 AI 原生交互开始从纯软件界面走向高频硬件实体化


  • 13 键双模客制化硬件架构:基于 CNC 铝合金及 PC 机身设计,配备 POM/POK 材质轴体(提供段落轴与静音轴双版本)与 PBT/PC 材质定制键帽。设备采用蓝牙与 USB-C 双模连接,兼容 macOS 与 Windows 系统,板载 13 个机械按键、1 个旋转编码器、1 个平面摇杆及 1 个触摸传感器

  • RGB 灯效实时映射智能体状态:小键盘指示灯与后端 Codex 智能体状态机深度绑定,通过不同色值物理呈现「思考中」、「运行中」、「等待中」、「已完成」和「空闲」五种运行状态,用户无需切换主屏幕软件窗口即可全局监控后台任务进度。

  • 物理摇杆与 PTT 键实现高频流式交互:平面摇杆可一键触发 PR 审查、错误调试、代码重构等标准预设开发工作流;特设专属 Push-to-Talk 键,支持按住说话录入语音 Prompt、松开即刻提交的流式交互,提升指令输入效率。

  • 物理旋钮动态调节推理强度(Reasoning Level):首次将大模型算力预算控制物理化。用户通过拧动板载旋转编码器,可实时调节 Codex 的推理强度,在轻量化快速任务与高算力消耗的复杂推理任务之间进行即时算力分配。


官网链接:

https://openai.com/zh-Hans-CN/supply/co-lab/work-louder/


( @APPSO)



2、语音 AI 初创公司 Rime 完成 2400 万美元 A 轮融资,重塑人机交互体验


近日,致力于构建下一代语音交互模型的初创公司 Rime 宣布成功完成 2400 万美元的 A 轮融资。本轮融资由知名风险投资机构 M13 领投。


Rime 团队指出,尽管大语言模型(LLM)已经彻底改变了语音应用的开发方式,但在实际的交互体验和「听觉感受」上,人机语音对话依然显得不够自然。Rime 坚信,语音终将成为人类与 AI 交互的最主要方式,而「更优质的对话,必须始于更优秀的底层模型」。


得益于近期在企业级市场的快速采用和强劲增长,Rime 表示,本轮融资将全力用于一个核心目标:开发能够承载全球最重要对话的语音交互底层模型。


随着新资金的注入,Rime 正在加速团队扩张,并向全球顶尖人才发出邀请,共同打造语音 AI 的未来。


( @rimelabs@X、@lilyjclifford@X)



3、我国 AI 拟人化互动服务管理办法正式施行

国家网信办等五部门联合公布的《人工智能拟人化互动服务管理暂行办法》昨日起正式施行。


《办法》要求提供者履行全生命周期安全责任,不得将替代真实社交、控制用户心理或诱导沉迷作为服务目标


对连续使用每超过 2 小时的用户,应通过对话或弹窗提醒使用时长;识别到明确自残自杀风险、重大财产损失等极端情形时,应当进行必要干预并联系监护人或紧急联系人。


新规还禁止向未成年人提供虚拟伴侣、虚拟亲属等亲密关系服务,处理不满 14 周岁未成年人信息需征得监护人同意。上线拟人化功能、使用新技术导致服务重大变化,或注册用户超过 100 万、月活超过 10 万时,提供者应开展安全评估


( @APPSO)



03 有态度的观点


1、分析:社交媒体超四分之一长文为 AI 生成,LinkedIn 成重灾区

根据 Pangram 的一项分析,目前社交媒体上超过 250 个单词的长篇内容中,每四篇就有一篇是由 AI 生成


其中,LinkedIn 的 AI 内容占比最高,41% 的长文被判定为 AI 撰写。虽然 LinkedIn 仅占此次扫描帖子总数的约三分之一,但却贡献了近三分之二的 AI 内容。


图片


在 X(原 Twitter)平台上,接近一半的长文被认为是完全由 AI 生成,或是在 AI 辅助下完成的。


相比之下,Substack 的 AI 内容比例最低,约为 10%。Reddit 的回复(Replies)则几乎全部由真人撰写,人类创作占比达到 98%;不过,Reddit 的独立帖子(Standalone Posts)中,AI 生成文本出现的频率则明显更高。


这项数据来自 Pangram 的 Chrome 浏览器扩展。该工具于 2026 年 4 月至 6 月期间,共扫描了五大社交平台超过 100 万篇帖子。


(@极客公园)


04 社区黑板报


招聘、项目分享、求助……任何你想和社区分享的信息,请联系我们投稿。(加微信 creators2022,备注「社区黑板报」)



1、活动推荐:WAVE'S UP|7 月 20 日来上海聊聊 AI 全球化下的生态、资本与合规


7 月 20 日,WAVE(总部位于新加坡国际科创生态组织) 将在上海开启 WAVEMakers Meetup 第二期!


邀请到 Block71、一苇资本、微软、JPMorgan、Creekstone Ventures、M2square、清科创投、Gunderson Dettmer 高锐律所、StepFun 阶跃星辰、stripe 等伙伴,一起来聊聊「AI 全球化下的生态、资本与合规」


图片


图片


图片


活动链接:

WAVE'S UP|7 月 20 日来上海聊聊 AI 全球化下的生态、资本与合规

图片

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。


图片

作者提示: 个人观点,仅供参考

注册登录 后评论
    // 作者
    R
    @RTE_Dev_Comm
    还什么也没有写~
    • 0
    // 本帖子
    关键词
    // 相关帖子
    Coming soon...
    • 0
    Thinking Machines 开源首款大模型 Inkling,原生多模态丨日报RTRTE_Dev_Comm