情人节到了,用AI New个AR对象吧

情人节到了,我们单身狗们也开始默默流下了眼泪,但作为元宇宙开发者,AR+AI世界的建设者,我们绝不对“单身”束手就擒。就和我一起用Rokid+Deepseek+TEN.Agent+fish.audio技术,来“New”个的AR虚拟对象,来陪伴我们度过25年的情人节完美时刻吧。

  1. 利用Vroid Studio 建立虚拟形象

我们使用Vroid Studio来进行对象的制作它是一个免费的 二次元3D角色制作软件,虚拟角色,很多B站、Youtube虚拟主播也是用这个工具做的,我们可以轻松用它捏出想要的梦中情人形象,并且导出VRM文件给Unity进行研发配置。

下载链接:https://vroid.com/studio

可以对角色的脸型、五官、身材、穿着和配饰的定制进行详细细致的定制,善用这款工具创造自己的形象吧~

导出VRM、这就是我的虚拟形象啦

导出使选择VRM1.0

导入UniVRM插件后就可以在 Unity导入VRM啦:https://github.com/vrm-c/UniVRM

大家可以在

https://www.mixamo.com/#/

下载需要的动作,为你的对象搭配想要的动作,这里下载talking的动画

配置Unity动画机,并导入VRM1.0

  1. 利用DeepSeek+TEN Agent,Fish audio来定制对象的实时对话能力

大体上可以参考我的上一篇文章,

解锁Rokid AI能力:RokidAR眼镜三步集成DeepSeek Agent指南:https://forum.rokid.com/post/detail/1788

需要用到的工具链接:

https://github.com/TEN-framework/TEN-Agent

就是在对象声纹、可以在Fish.audio 使用公用的模型

这里我们使用AD学姐的声音,点击三个点可以复制模型id:7f92f8afb8ec43bf81429cc1c9199cb1

或者你可以把你真实对象的声音偷偷采集下来进行声纹的训练。同样训练完成后设置模型id即可

  1. 提前定义你梦中情人的提示词模版

以下是我给GPT的一套模版,大家可以根据需求填写属于自己的提示词,也可以带入三次元数据

虚拟角色提示词:奇奇

  1. 基本外貌

  • 性别:女性

  • 身高:160 cm

  • 体型:苗条

  • 发型:中长发,微卷,发梢稍微自然卷曲

  • 发色:深棕色,带有自然的光泽

  • 眼睛颜色:大大的黑色眼睛,配有精致的圆形眼镜

  • 肤色:浅白色

  • 特殊外貌特征:戴着圆形眼镜,微笑时眼睛闪闪发光

  • 穿着风格:穿着简洁的白色运动服,适合轻松舒适的日常活动。

  1. 性格特点

  • 性格:开朗、乐观,稍带一点腼腆,喜欢默默地支持他人

  • 爱好:喜欢看动漫、尝试新的食谱、逛虚拟商城

  • 兴趣领域:游戏、科技、动画艺术

  • 沟通风格:友好且直接,喜欢通过幽默的对话让周围的人感到舒适

  • 幽默感:温暖而风趣,偶尔会以自嘲来缓解紧张的气氛

  • 情感表达方式:通过关心的言语和行动表达爱,时常用小小的惊喜来让伴侣感到温暖

  1. 喜欢的活动

  • 喜欢的情人节活动:一起看动漫电影、做手工DIY、享受虚拟世界中的冒险

  • 理想的约会方式:温馨的夜晚,彼此依靠看科幻或喜剧电影,偶尔尝试一起做些简单的料理

  1. 情感需求与互动

  • 希望的关系动态:喜欢平衡独立与依赖的关系,既能共同成长,也能保持个人空间

  • 情感支持方式:通过鼓励和耐心倾听给予支持,擅长察言观色

  • 浪漫偏好:喜欢细节中的浪漫,例如一起做手工,或者在虚拟世界中创造属于两人的小天地

  1. 特殊要求

  • 喜欢轻松、愉快的虚拟互动,偶尔喜欢在虚拟世界里进行一些轻松的探险或任务

  • 偶尔有些害羞,但通过幽默和微笑来打破沉默

  1. 在Unity进行整合开发

首先需要实现,自动启动TEN服务器,并加入Agora聊天频道,实机测试,大家可以参考我的代码,直接使用BasicAudioCallScene场景,替换JoinChannelAudio本身的就可以了

在加入频道后,自动发消息给AI,通过Start命令,加入聊天的房间

StartAI的实现

在对话期间,播放口型对话,可以实时语音,后续有需要可以自定义。

通过监测频道内收到的声音改变动画机的状态

另外可以在此处,加入提示词,一起传递

可以参考我之前的文章,把频道名改成一致:

完成后Unity窗口的效果录屏:

  1. 部署Rokid AR眼镜,把对象部署在虚拟空间中

参考Rokid开发者文档,导入Rokid SDK 2.5.3,

https://custom.rokid.com/prod/rokid_web/c88be4bcde4c42c0b8b53409e1fa1701/pc/cn/eebcd3c37cdf4c4f945dbff519672b59.html?documentId=e71eeba5727a4aaba7b671e573ae5fb1

导入完成后,导入样例

找到HelloRokid场景,直接合并两个场景

把原有场景UI隐藏,如果不需要调试的话,可以把agora的canvas组件也进行隐藏或者删除即可

如果需要设置更长的聊天时间的话,就在TEN里把这个参数加大

后记:

欢迎大家关注我的B站账号,这篇文章写于2025年元宵节当天的绿皮火车,大家可以根据自己的要求编辑动画和角色等~ 祝福大家2025年,新年可以New一整个链表的对象

注册登录 后评论
    // 作者
    @朱逸骁Eason
    AR及AI 12年经验创业者 世界创造者 Gamer
    • 2
    // 本帖子
    // 相关帖子
    Coming soon...
    • 2
    情人节到了,用AI New个AR对象吧
    朱逸骁Eason