首个手摇供电离线语音智能体 CrankGPT 发布;生数科技发布 Vidu S1 实时交互模型,无限时长流式生成丨日报

图片


开发者朋友们大家好:


这里是「RTE 开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。

本期编辑:@koki、@鲍勃


01 有话题的技术

1、生数科技发布 Vidu S1 实时交互模型:基于 AR + Diffusion 架构实现 540P/25FPS 无限时长流式生成


生数科技正式发布面向实时交互场景视频生成模型 Vidu S1。该模型基于自回归扩散模型架构,支持通过语音实时控制视频中角色的动作与表情,在消费级 GPU 上可实现 540P、25FPS 的无限时长流式视频输出打破了传统视频模型的离线生成限制


  • AR + Diffusion 自回归扩散架构:模型不再一次性生成固定时长(3s-30s)的闭环视频,而是基于历史画面、当前语音指令和上下文,流式预测并持续生成后续视频内容,支持数小时连续互动且保持人物角色一致

  • 540P 级实时渲染性能:通过软硬件协同优化,在消费级 GPU 上实现 540P (960x540) 分辨率25FPS 帧率(最高支持 42FPS)的超低延迟视频生成,满足实时通话级交互要求

  • 多重推理加速与注意力优化:底层基于 TurboDiffusion 推理加速框架,融合了 8 位注意力机制 SageAttention、稀疏线性注意力 SLA 以及 SpargeAttention 算法,大幅降低单帧视频生成的计算成本。

  • 动态资源调度部署:基于 TurboServe 推理部署引擎,持续记录并追踪用户输入、角色状态及历史帧,实现高效的推理请求调度与流式服务协同。

  • 单图零训练生成式角色构建:用户仅需上传单张初始图片(支持真人、动漫或萌宠)并搭配自定义音色,无需离线 3D 建模、角色绑定或口型适配训练,即可直接驱动高拟真度的实时双向互动。


(@生数科技)



2、Squeez Labs 开源 CrankGPT:手摇供电、完全离线的树莓派 5 语音智能体

Squeez Labs 开源了 CrankGPT 项目,这是一款完全离线、无电池且由手摇发电机供电便携式语音智能体。该系统基于树莓派 5 运行本地轻量化模型,在无电网、无云端支持的环境下,实现了首字延迟最低 0.8 秒的即时语音交互


  • 20W 手摇发电机与超级电容滤波: 采用手摇发电输入,配备由 3 个 2.7V 50F 超级电容组成的自定义电源板作为 20 秒电能缓冲,平抑本地推理阶段最高 5A 的瞬时电流冲击,稳定维持树莓派 4.8V 至 5.3V 的工作电压。

  • 极简 DietPi 系统与 3 秒引导: 搭载裁剪版 Debian 系统 DietPi,关闭蓝牙、无线等未用硬件,将 Linux 内核至用户空间的启动耗时缩短至 3 秒,整机冷启动(含固件自检与模型/库加载)控制在 30 秒内。

  • 无 PyTorch 依赖的轻量推理栈: 移除所有 PyTorch 依赖以节省内存,软件栈全面运行于 ONNX Runtime。语音识别使用 Moonshine ASR 与 Silero VAD;语言模型基于 llama.cpp,支持 Liquid AI LFM2.5(350M/1.2B)及 Gemma 3 1B;语音合成使用 Piper。

  • 首字延迟最低 0.8 秒与内存带宽红利: 树莓派 5(DDR4)运行 LFM2.5 350M 模型的首字延迟仅 0.8 秒,运行 LFM2.5 1.2B 时为 1.5 秒。由于语言模型推理极度受限于内存带宽,换用具备 DDR5 内存的 Orange Pi 5 Pro 后,Token 生成速度可提升 29% 至 58%。

  • 流式合成与计算能耗物理反馈: 采用句子级流式处理,动态压缩首句长度以加速首字响应。当语言模型推理与语音合成并发运行,整机功耗攀升至 15W(电流达 3A),发电机的物理阻力会显著增大向用户提供直观的计算能耗物理反馈


https://squeezlabs.github.io/handcrank/


(@coinbureau@X、@squeezlabs)



3、阿里发布 Fun-ASR-Realtime 实时语音模型:百毫秒级首字延迟,支持 16 种方言与 30 种语言


阿里正式升级流式语音识别模型 Fun-ASR-Realtime,该模型具备百毫秒级首字时延,并在影视飓风100 小时直播实战中完成了 132 万字实时字幕输出。模型通过泛上下文强化,弥合了实时流式识别与离线高精度识别之间的准确率差距


  • 泛上下文实时动态纠错:模型针对历史对话和实时热词进行专项强化,具备上下文理解能力,可根据后续输入的语义信息,实时在线修正已经输出的错误文本。


图片


在影视飓风「重返荒岛」100小时直播节目中,实时字幕根据上下文纠错,将「叶鹿」改为「夜鹭」。


  • 16 种方言平均字符准确率 88.62%:在八大方言区测试中,高难度的上海话、苏州话、温州话字符准确率分别达到 92.41%、89.21% 和 82.74%,在 12 类方言上指标超越同类竞品。

  • 工业级远场噪杂环境适应力:在 5 类中英文工业场景测试中,中文平均字符准确率达 88.42%,英文达 91.58%;针对泰语等东南亚语种进行专项优化后,其识别准确率提升 20%。


图片


  • 同代离线模型登顶全球榜单:其离线版本 Fun-ASR-Flash 在 AI 评测平台 Artificial Analysis 上,以 1.7% 的字错率位列全球第一。


图片


(@通义实验室)


02 有亮点的产品


1、Domus Next 推出 SuperNori:基于 Android 系统权限与 Home Assistant 的原生家庭智能体操作系统

图片


图片


旧金山智能家居初创公司 Domus Next 推出家庭智能体系统 SuperNori,定位为空间原生的家庭操作系统。该系统通过深度整合 Android 底层权限与 Home Assistant 生态,实现了跨软件、服务和硬件的统一自主执行


  • Android 系统级权限与 Home Assistant 深度整合:SuperNori 并非传统的应用级控制接口,而是通过 Android 系统级底层权限与开源智能家居生态 Home Assistant 结合,实现跨协议、跨品牌的物理硬件协同,将零散的智能设备统一为系统级协调单元。

  • 免 API 的直接用户界面操作:在软件层面,该系统无需依赖特定的 API 或预建集成,能够像人类用户一样直接在数字终端的屏幕上进行浏览、文本输入和界面导航,从而直接操作各类第三方软件和服务。

  • 多步骤并行执行与全后台运行:系统能够将自然语言指令翻译为结构化行动,自动拆分为多步工作流,并在数字环境与实体硬件中并行执行。系统全程在后台保持运行,直至任务完全闭环,无需用户中途确认。

  • 主动式情境感知与决策连贯性:系统能够主动检测异常交通、生活用品库存等上下文信息,结合用户习惯提前推荐购买、预订出行或调整冲突日程,实现从「请求-响应」向「自主执行结果」的交互模式转变。


( @TechCrunch)



2、Lucida AI 获 700 万美元种子轮融资:利用自研语音语言模型提供免文本口语对话学习


图片


近日,语言学习公司 Lucida AI 宣布完成 700 万美元(约合人民币 4752 万元)种子轮融资,由 Velocity Capital 领投,Next Tier Ventures、Look AI Ventures 等多家机构参投。


Lucida AI 于 2024 年创立。当多数语言学习产品还在教用户认单词、记语法、做测验时,Lucida AI 选择了一条相对不同的路——将口语流利度置于语言学习的核心,通过实时 AI 对话帮用户提升口语沟通能力。该公司认为,其积累的海量语音数据将能反哺模型训练,持续优化对话体验。


据介绍,其专有的语音语言模型(SLM)能让用户无需文本提示即可与 AI 自然对话,系统会根据熟练程度调整对话内容,并针对流畅度、发音和清晰度提供即时反馈,同时模拟从日常交流到商务会议、客户电话等真实场景


目前,Lucida AI 既有面向个人用户的 App 版本,也提供支持本地托管和端到端加密的企业部署版本。


Lucida AI 联合创始人 Mustafa Girgin 和 M. Sait Demirci 表示:「AI 正在成为一场全球竞赛,有意义的创新不再局限于单一地域……我们的目标很明确:构建一个可扩展的、原生支持语音的 AI 平台,为全球通信提供支持。


过去 15 个月,Lucida AI 已累计吸引 300 万用户,完成 22 亿分钟的语音互动,年度经常性收入突破七位数。该公司计划利用这笔资金拓展新语言和市场,进一步开发语音对语音 AI 基础设施,并加速产品在全球范围的落地。


(@多知)



03 有态度的观点


1、宇树科技陈立:具身智能的「ChatGPT 时刻」需达成两个 80%

图片


据财联社报道,宇树科技联合创始人陈立日前在 2026 亚布力中国企业家论坛第十二届创新年会上表示,具身智能机器人目前尚未实现大面积应用,核心原因在于具身智能大模型尚未成熟


陈立在演讲中定义了具身智能的「ChatGPT 时刻」,其核心标志为「两个 80%」:机器人在 80% 的陌生场景中,通过语音或文字指令能够顺利完成约 80% 的任务。他预计,在垂直的 To B 场景中,完全自主解决 80% 任务的目标有望达成;而在对泛化能力要求更高的 To C 场景,预计可能需要 8 至 10 年甚至更久才能成熟。针对未来 2 至 5 年的行业发展,陈立提出了三大关键要素:


  • 需要统一的端到端机器人大模型;

  • 需要更低成本、更高寿命的硬件;

  • 低成本的大规模算力。


他指出,由于端侧算力存在续航、散热和成本限制,而云端存在延时问题,未来的算力形式可能是分布式的。陈立对行业长期前景表示乐观。他预测,今年起具身智能机器人将引领全新的消费浪潮,大幅推动社会生产力与劳动力升级。


(@APPSO)



04 社区黑板报


招聘、项目分享、求助……任何你想和社区分享的信息,请联系我们投稿。(加微信 creators2022,备注「社区黑板报」)



1、开赛招募 | CCF IVC 2026 大赛——智能导航方言语音识别挑战赛开启

图片


CCF IVC 2026 大赛——智能导航方言语音识别挑战赛正式开赛!晴数智慧 (Magic Data) 联合北京建筑大学城市建筑超级智能技术北京市重点实验室、西北工业大学音频语音与语言处理实验室(ASLP@NPU)、上海交通大学跨媒体语言智能实验室(X-LANCE Lab)等高校顶尖实验室提供技术与数据支撑。


1 万小时 WenetSpeech-Chuan 开源语料+全新开源的 12 城子方言数据集全程加持,报名参赛还能获取官方专属导航场景训练数据,想刷榜方言识别、攻坚车载落地场景的开发者们,速来报名同台竞技!


赛程安排


图片


参赛对象


赛事面向全社会开放,全球高校学生、科研人员、科技企业从业者、初创团队及独立开发者均可参赛,无国籍、年龄、职业限制。


赛项报名入口:

https://www.gitlink.org.cn/competitions/INDASR


大赛官网:

https://ccf.org.cn/ccfivc2026


官方公众号:CCF 智能汽车分会


大赛联系人:刘老师 18661071388 / 袁同学 18581710197


详情请见:

开赛招募 | CCF IVC 2026 大赛——智能导航方言语音识别挑战赛开启!

图片

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。


图片

作者提示: 个人观点,仅供参考

注册登录 后评论
    // 作者
    R
    @RTE_Dev_Comm
    还什么也没有写~
    • 0
    // 本帖子
    关键词
    // 相关帖子
    Coming soon...
    • 0
    首个手摇供电离线语音智能体 CrankGPT 发布;生数科技发布 Vidu S1 实时交互模型,无限时长流式生成丨日报RTRTE_Dev_Comm