如果视频也能像游戏一样，随时响应你的操作，会是什么体验？你可以让画面中的角色转身、换件衣服，也可以通过触控与桌面上的虚拟宠物互动。

这样的体验对视频 AI 提出了新的要求：模型不仅要及时理解用户的操作、快速生成后续画面，还需要在持续互动中保持画面质量，并控制运行成本。

但视频 AI 的探索不止于实时生成。当 AI 从生成画面进一步走向理解画面，它还需要回答更多问题：如何理解眼前的场景、记住过去的视觉信息，并在具体任务中运用这些能力？

10 月 24 日，在 iRTE2026 实时智能大会「视频 AI 技术专场」中，来自 Memories.ai、声网、Xmax AI、生数科技和蚂蚁集团的讲者，围绕「从实时视频生成到可交互世界模型」，分享了各自的技术实践。

费峰：从感知到个人记忆，为 Personal AI 提供可追溯的上下文

周一晨会上，如果突然有人问起「上周与客户讨论的眼镜产品进展如何」，相关信息可能散落在电脑里的产品方案、手机上的沟通记录、演示视频和现场笔记中。

Memories.ai 端侧推理工程师费峰以这个假设场景，引出了团队正在探索的问题：如何让 AI 记住这些零散的经历，并在需要时快速找到相关信息？

费峰介绍了团队在眼镜、手机和桌面端的不同探索：眼镜用于记录用户所见，手机应用支持在本地检索图片和视频，桌面端的 Project LUCI 则能够整理工作内容与待办。技术上，团队利用 omni-retriever 进行跨模态语义表示，并结合画面、OCR 文字和语音等线索检索相关记录。

找到相关记录只是第一步，用户还需要知道答案依据什么。为此，Memories.ai 团队通过时间戳对齐，将检索结果与原始记录关联，方便用户回看信息来源。

团队也尝试将索引、检索和简单问答尽量放在本地完成，对于更复杂的问题，则先在本地定位相关信息，再借助云端模型进行分析。

吴方方：让 Vision Agent 跟上用户正在看的画面

旅行途中，用户看到一块碑文，想请 AI 帮忙解读。系统能否及时理解他所指的画面？

声网新场景探索团队技术负责人吴方方介绍了团队在宠物视频自动整理、体育赛事 AI 解说和旅行陪伴等场景中的尝试。其中，体育赛事解说需要画面理解、解说生成和语音播放紧密衔接，一旦出现延迟，解说就可能跟不上比赛。

实时视觉感知也面临两难：如果等系统识别出用户的提问意图后才触发拍照，镜头可能已经错过了用户想问的画面；但如果持续把视频帧送入对话模型，又会增加处理成本，让上下文迅速膨胀。此外，声音、画面与用户的提问还需要在时间上准确对应。

吴方方介绍，团队结合实时音视频传输与时间戳对齐，对视频进行抽帧处理，由视觉模型生成画面描述，再交给业务服务器管理。当用户发起对话时，通用模型可以结合相关的视觉信息作出回应，不必在每轮对话中都处理大量原始视频帧。

除了理解画面，Vision Agent 还需要在复杂声音环境中识别用户的提问。吴方方展示了基于声网 R2 开发套件的观影陪伴场景：影片对白、背景人声和用户提问可能同时出现，系统需要辨别哪些声音来自用户。团队尝试通过声纹锁定和云端音频处理，让设备在这样的环境中持续与用户对话。

史佳欣：当视频可以「玩」，交互必须足够简单

Xmax AI 创始人兼 CEO 史佳欣关注的是视频播放过程中，观众还能做什么。团队尝试将实时生成用于直播互动、触控控制角色和桌面虚拟宠物等场景，让用户不必输入复杂的提示词，也能通过简单操作改变画面。对于面向大众的消费产品，交互需要足够直观，画面也要及时回应用户的操作。

为了让画面及时响应用户操作，团队采用帧级自回归方式逐帧生成视频，同时保留帧内扩散，并通过减少采样步数提升生成效率。推理环节则从模型规模、稀疏计算、算子和通信等方面继续优化，以降低持续生成的成本。

对于长时间的实时交互，模型不仅要持续生成画面，还需要保持角色和场景的稳定。与一次性生成几秒钟的视频片段不同，持续生成过程中，角色和场景可能逐渐偏离原有设定，出现语义漂移。

但保持画面稳定还不够，用户的操作也需要得到准确回应。当用户通过触屏、手势或表情控制视频时，模型需要理解这些操作，并生成相应的画面变化。然而，这类包含用户操作与画面变化对应关系的训练数据，很难直接从互联网上获取。为此，Xmax AI 团队尝试结合人工标注与算法辅助的方法构造训练数据，让模型学习如何根据用户操作调整画面。

演讲最后，史佳欣还预告了即将发布的 X2.1 模型，新模型将支持 1080p、24 FPS 的实时视频生成，并进一步扩展了角色替换、换装和交互控制等能力。

张金涛：从推理优化到实时视频交互

生数科技流式视频与模型推理负责人张金涛分享了团队在 SageAttention 推理优化、Vidu S1/S2 实时交互模型等方面的探索，并展示了数字人交互、实时视频编辑等应用。

他以 Vidu S2-Avatar 为例，展示了实时数字人的多种交互方式。用户可以通过语音或文字控制角色动作，也可以提供参考图片，让角色更换服装、切换背景或展示指定物品。在实时视频编辑方面，他还介绍了 Vidu S2-Editing，支持风格渲染、换装、角色替换和背景替换等功能。

张金涛还展示了团队在 VR 空间视频上的探索。团队尝试通过 SDK 将单目视频实时转换为双目画面，让用户获得更具空间感的观看体验。

陈景东：多模态模型需要进入真实任务的工作流

蚂蚁集团基础智能部技术总监、资深算法专家陈景东关注的是多模态模型如何从理解信息，进一步走向实际任务的完成。

他提到，用户对 AI 的期待正在发生变化：除了回答问题，人们也希望模型能够直接交付网页、设计稿、代码等可用成果。这样的任务往往无法通过一次对话完成，模型还需要在执行过程中检查结果、根据反馈持续调整。因此，评价模型能力时，除了识别、理解和推理，还需要关注任务是否完成，以及完成任务所需的时间和成本。

以网页开发为例，一种常见的 AI 网页生成方式是先生成代码，再寻找图片等素材进行拼接。陈景东介绍，团队尝试结合 Ling-3.0-flash-VL 视觉语言模型与 Ming-Image 系列的设计生成、图层拆解能力，先生成设计稿并提取素材，再将设计结构和素材用于代码生成。页面渲染完成后，系统还可以根据实际呈现效果进行检查和修改。

在视频学习辅助场景中，用户可以一边观看教学视频，一边就画面内容向模型提问。在赛事高光整理的演示中，系统则通过分段扫描比赛录像、结合前后画面确认进球，从一场 45 分钟的比赛中定位出 11 个进球时刻，并将相关片段整理成 5 分 18 秒的集锦。

语音也是团队探索的方向之一。陈景东介绍了 Ming-3.0-Audio 系列在长时音频理解、双工交互和工具调用等方面的能力，并展示了模型理解会议录音、参与实时对话等场景。他认为，语音模型不应局限于传统的识别与合成，还可以进一步参与更复杂的任务流程。

圆桌｜从视频理解到实时生成：交互如何改变视频AI

在 Agora Senior Director Monica Chen 主持的圆桌讨论中，Memories.ai 端侧推理工程师费峰、Xmax AI 创始人史佳欣、生数科技流式视频与模型推理负责人张金涛，以及蚂蚁集团基础智能部技术总监、资深算法专家陈景东，围绕世界模型的发展路径、实时交互面临的技术难题，以及新产品的商业化机会展开讨论。

从生成画面到理解世界，AI 还缺少什么？

陈景东认为，目前围绕「世界模型」的技术路线尚未收敛。他所在的团队尝试将三维理解与生成结合，希望模型能够更好地理解空间关系与物理规律。但在这一过程中，他们也发现，三维重建已经取得一定进展，三维理解却仍有不足。在他看来，仅依靠扩散式视频生成演进为世界模型，是一条困难的路径，需要不同技术方向相互借鉴。

费峰则从长期记忆的角度补充了另一项能力。同样一段舞台表演，了解其背景的观众，与第一次看到它的观众，会有不同的理解。他借此说明，对眼前情境的理解并不只依赖当前画面，也需要过去积累的经验和知识。对于 AI 而言，长期记忆的价值不仅是保存更多信息，还在于为持续的环境认知提供上下文。

生成得快，为什么还不等于实时交互？

在张金涛看来，即使用 4 秒就能生成一段 5 秒的视频，也不意味着用户能够随时改变接下来发生的画面。在他举出的整段生成、依次播放的方式下，用户仍可能需要等待当前片段结束，新的指令才能进入下一轮生成。

实时交互因此需要同时解决两类延迟：视频生成需要多长时间，以及用户发出指令后，画面多久能够发生相应变化。

不过，降低延迟只是其中一项条件。相比算法细节的调整，张金涛更看重高质量交互数据与推理基础设施。模型需要什么样的输入和输出，是否有足够好的训练数据与之对应，是他认为更关键的问题。与此同时，每位用户都有独立的交互会话，推理成本能否降到大众可以持续使用的水平，也决定了这些能力能否规模化应用。

陈景东认为，即使模型推理和视频传输都足够快，也不意味着用户就能顺畅地与画面互动。模型需要准确理解用户的操作，系统也要让画面及时作出相应变化，因此两者需要结合具体的交互方式共同设计，模型能力必须与应用场景的复杂度相匹配。如果模型本身无法支撑复杂任务，只能依靠不断增加系统环节来弥补，系统就可能越来越复杂，迭代也会越来越困难。

实时视频交互，如何走向真正的消费产品？

从技术演示走向实际应用，技术成熟度和使用成本仍是重要前提。费峰认为，对普通消费者而言，往往是先接触到产品，再逐渐认识背后的技术。但从产品开发的角度看，技术需要先达到足够好的效果，并将成本控制在可接受的范围内，才能让更多用户体验到这些能力。

史佳欣则从泛娱乐产品出发，提出了三个问题：谁来看、怎么看、谁来付费？

他认为，直播是值得优先探索的场景之一，直播已经具备内容消费和付费基础，主播与观众都有可能为新的互动体验付费。不过，具体的产品体验仍需要探索。

在史佳欣看来，娱乐产品的发展需要技术与产品相互推动。新技术带来了过去无法实现的体验，用户在实际使用中产生的反馈，又推动产品和技术继续调整。他以短视频为例：简单的上下滑动降低了交互门槛，推荐算法则随着使用不断学习用户偏好。这些经验也为实时视频产品的交互设计提供了参考。

从实时视频生成、视觉感知到长期记忆与多模态任务执行，这场论坛呈现了视频 AI 正在探索的不同方向。

无论是让用户随时改变画面，还是让 AI 理解眼前的场景、记住过去的信息，并参与实际任务，这些探索都在推动 AI 与视觉世界产生更持续的交互。而要让这些能力真正进入日常生活，仍需要在模型能力、交互体验与使用成本之间找到平衡。

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么