Meta 发布非侵入脑机接口实时解码 Brain2Qwerty v2,单词识别准确率达 61%丨日报

开发者朋友们大家好:
这里是「RTE 开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的技术」、「有亮点的产品」、「有思考的文章」、「有态度的观点」、「有看点的活动」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。
本期编辑:@koki、@鲍勃
01 有话题的技术
1、Meta 发布 Brain2Qwerty v2:非侵入式脑磁图信号实时解码,单词识别准确率达 61%
Meta 联合巴斯克认知、大脑与语言中心发布非侵入式脑机接口解码系统 Brain2Qwerty v2。该系统采用端到端深度学习架构,可将非侵入式脑磁图记录的原始脑电信号实时解码为连贯文本。其单词解码准确率相比前代及同类非侵入式技术实现大幅提升,性能水平逼近侵入式手术植入技术。
单词准确率突破 61%:在非侵入式脑电信号实时解码中达到 61% 的平均单词准确率,远超同类非侵入式方法 8% 的基准;其中表现最优的测试者准确率达 78%,半数以上句子解码误差控制在 1 个单词以内。
端到端原始信号解码:基于 9 名志愿者累计 90 小时的脑磁图打字数据(约 22,000 个句子),直接使用深度学习对原始脑电信号进行端到端解析,弃用了传统的人工特征工程流程。
大语言模型微调与智能体优化:通过在神经数据上微调大语言模型以引入语义上下文,用以消除脑电信号噪声并重构连贯文本;解码管道的架构优化由智能体自主探索,并由工程师手动完成最终的训练配置筛选。
对数线性缩放与大脑基础模型生态:解码准确率随数据规模增加呈对数线性提升。Meta 正在构建大脑开放基础模型生态,目前已推出感知编码模型 Tribev2、大规模脑数据处理工具 NeuralSet 和系统评估基准 NeuralBench。
https://github.com/facebookresearch/brain2qwerty
https://huggingface.co/datasets/bcbl190626/SpanishBCBL
(@JeanRemiKing@X)
2、Vercel 宣布其 AI Gateway 推出语音功能支持:集成实时音频、TTS 与 STT,原生支持 AI SDK 7
Vercel 宣布其 AI Gateway 在 AI SDK 7 中推出音频与语音支持 beta 版,将实时语音、文本转语音(TTS)和语音转文本(STT)集成到统一的 API 路由中。该功能首批支持OpenAI 和 xAI 模型,使开发者能直接在网关层面统一进行音频模型的路由、观测、身份鉴权和费用控制。
端到端实时语音会话:通过单模型直接进行音频输入与输出,替代传统的语音转写、大模型处理与语音合成拼接链路;前端配合 useRealtime 钩子管理 WebSocket 连接与麦克风采集,支持用户随时打断。
基于 Token 的安全鉴权架构:客户端无需暴露 API 密钥,服务端通过 gateway.experimental_realtime.getToken 生成短期 Token 传递给浏览器建立 WebSocket 连接,确保生产环境安全。
服务端 VAD 与会话中工具调用:支持 server-vad 配置,由服务端进行语音活动检测并支持打断;模型可在音频回复中途触发工具调用,执行后将结果即时融入当前回合的语音输出。
规范化的音频处理 API:提供 generateSpeech(支持 xai/grok-tts 等模型,输出指定格式的音频文件)与 transcribe(支持 openai/whisper-1,兼容 buffer、base64 编码及 URL 输入)标准接口,在网关层实现统一的用量监控与预算限制。
(@vercel@X)
3、乐鑫科技发布 ESP-WebRTC:为 ESP32 系列 SoC 提供原生 WebRTC 与 Data Channel 支持
乐鑫科技推出专为 ESP32 系列 SoC 设计的 ESP-WebRTC 音视频实时通信方案。该方案基于 WebRTC 标准,打通了从边缘设备端媒体采集、编解码、传输到云端信令接入的完整链路,使物联网硬件无需额外网关即可实现低延迟音视频对讲与数据交互。
四层模块化架构:方案解耦为信令层(ESP-Signaling)、连接层(ESP-Peer)、采集层(ESP-Capture)和渲染层(AV-Render),支持开发者根据硬件配置灵活组合。
双路传输支持:支持 Peer Connection 媒体流与 Data Channel 数据通道并行,在传输实时音视频的同时,可同步下发控制指令或上传传感器数据。
设备级媒体管理:通过 ESP-Capture 和 AV-Render 统一管理摄像头、麦克风等输入输出设备,涵盖采集、预处理、解码与硬件渲染输出全流程。
开放式信令接入:ESP-Signaling 模块提供标准化接口,支持对接多种主流云端信令服务与会话建立协议。
(@乐鑫信息科技)
02 有亮点的产品
1、Meta AI 眼镜测试 Meta One 订阅服务:端侧「对话聚焦」功能转为最高 15 小时限额收费
Meta 开始测试名为 Meta One Premium 的付费订阅服务,月费 19.99 美元。该服务将 Meta AI 眼镜原免费的「对话聚焦」功能转为限额使用,非订阅用户每月限用 3 小时,付费订阅后限用 15 小时。由于该功能完全在本地端侧运行,此举标志着 Meta 开启了针对无需云端算力的端侧 AI 算法进行软件收费的商业化尝试。
端侧本地计算:限额收费的「对话聚焦」功能完全基于眼镜内置芯片算力进行端侧处理,在无网络连接或飞行模式下仍能正常运行,不产生云端算力与带宽成本。
分级限时额度:普通用户每月仅可免费使用「对话聚焦」功能 3 小时;订阅 Meta One Premium 后的用户,每月使用额度上限也仅为 15 小时,而非无限量使用。
跨平台服务整合:Meta One 订阅同时向 Instagram、Facebook、WhatsApp 等 Meta 旗下社交平台提供 AI 增值功能,并为 AI 眼镜提供高级设备支持。
软件订阅变现路径:除 Meta 外,海外硬件厂商 MemoMind 已对其 AI 增值服务收取 19.99 美元/月的费用,AI 硬件厂商 Plaud 的软件业务年度经常性收入 ARR 已突破 7 亿元人民币,表明「硬件低毛利+软件订阅」正成为海外 AI 硬件主流商业模式。
(@XR Vision)
2、G7 易流发布 30 克 AI 穿戴硬件「拍拍豆」:支持语音自动打标与开放 API 接口
G7 易流发布面向物流交付场景的 30 克可穿戴 AI 硬件「拍拍豆」。该设备通过磁吸无感交互与语音触发打标,解决了司机下车交接环节的「车下黑洞」留证难题,将交付过程转化为可追溯的结构化事件流。
无感化工作流设计:设备重量仅 30 克,支持磁吸拆卸。从车载底座取下即自动开启录制,放回底座后自动启动充电并向云端上传视频,全程无需手动按键或手机连接。
AI 语音事件结构化:内置 AI 语音识别,司机在现场说出「卸货」、「签收」、「货损」等关键词,系统即可自动为视频片段打上特定标签,并与物流订单的对应业务节点进行绑定。
低成本部署与 ROI 模型:整套设备硬件定价 399 元,服务费 299 元,总计 698 元。通过提供交接现场视频证据,旨在降低货损赔付率(行业交接环节货损赔付率达 90%)和客诉处理成本。
开放平台生态:开放标准 API 接口和 Skill 能力,支持企业技术团队将拍拍豆的视频与标签数据接入自研系统,或嵌入飞书、钉钉等第三方工作流。
在消费级 AI 硬件(如 AI 眼镜、智能徽章)普遍因场景弱需求而难以落地的背景下,垂直 B 端场景展现出极强的刚需属性。物流交付、验收、质检等环节存在天然的「合规自证」痛点。该产品的核心逻辑并非依赖复杂的端侧大模型实时推理,而是将「极简硬件」作为低成本的物理数据采集终端,利用 AI 进行后端的语音打标与事件结构化,并通过 API 融入企业已有的 ERP 和协同工作流。这种「轻硬件、重流程、高 ROI」的模式,为 AI 硬件在工业与物流领域的落地提供了可行样本。
(@极客公园)
03 有态度的观点
1、研究:把 AI 智能体叫做「员工」,会让人类犯更多错误
据报道,将 AI 智能体包装成「数字员工」的营销方式,可能正在系统性地削弱人类员工的判断力与责任感。
波士顿大学商学院研究员 Emma Wiles 的研究发现,当 AI 工具被定义为「AI 员工」而非普通聊天机器人时,参与实验的管理者识别错误的能力下降了 18%,且有 44% 更倾向于将有问题的结果上报给上级,而非自行纠正。
参与研究的 1,261 名管理者中,已有近三分之一表示其所在公司将 AI 智能体定性为「员工」,甚至有 23% 的公司将其列入组织架构图。
MIT 经济学家、2024 年诺贝尔奖得主 Daron Acemoglu 也表示,当前 AI 智能体「被当作替代人类的工具来营销,这是一条走不通的路」,并认为其应当被优化为增强人类能力的工具,而非替代品。
MIT Technology Review 指出,「数字员工」的叙事本质上是一种品牌包装,并不能提升工具本身的能力,却会让周围的人类员工表现更差。随着 AI 智能体加速渗透医疗、教育、政务等关键领域,如何在部署方式上避免责任真空,已成为不可忽视的系统性风险。
(@APPSO)

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么
写在最后:
我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。
对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。
作者提示: 个人观点,仅供参考