情人节到了,用AI New个AR对象吧
情人节到了,我们单身狗们也开始默默流下了眼泪,但作为元宇宙开发者,AR+AI世界的建设者,我们绝不对“单身”束手就擒。就和我一起用Rokid+Deepseek+TEN.Agent+fish.audio技术,来“New”个的AR虚拟对象,来陪伴我们度过25年的情人节完美时刻吧。


利用Vroid Studio 建立虚拟形象
我们使用Vroid Studio来进行对象的制作,它是一个免费的 二次元3D角色制作软件,虚拟角色,很多B站、Youtube虚拟主播也是用这个工具做的,我们可以轻松用它捏出想要的梦中情人形象,并且导出VRM文件给Unity进行研发配置。
可以对角色的脸型、五官、身材、穿着和配饰的定制进行详细细致的定制,善用这款工具创造自己的形象吧~
导出VRM、这就是我的虚拟形象啦
导出使选择VRM1.0
导入UniVRM插件后就可以在 Unity导入VRM啦:https://github.com/vrm-c/UniVRM
大家可以在
https://www.mixamo.com/#/
下载需要的动作,为你的对象搭配想要的动作,这里下载talking的动画
配置Unity动画机,并导入VRM1.0
利用DeepSeek+TEN Agent,Fish audio来定制对象的实时对话能力
大体上可以参考我的上一篇文章,
解锁Rokid AI能力:RokidAR眼镜三步集成DeepSeek Agent指南:https://forum.rokid.com/post/detail/1788
需要用到的工具链接:
https://github.com/TEN-framework/TEN-Agent
Deepgram: Sign up to get your API Key.
DeepSeek: Sign up to get your API Key.
Fish.Audio: Sign up to get your API Key.
就是在对象声纹、可以在Fish.audio 使用公用的模型
这里我们使用AD学姐的声音,点击三个点可以复制模型id:7f92f8afb8ec43bf81429cc1c9199cb1
或者你可以把你真实对象的声音偷偷采集下来进行声纹的训练。同样训练完成后设置模型id即可
提前定义你梦中情人的提示词模版
以下是我给GPT的一套模版,大家可以根据需求填写属于自己的提示词,也可以带入三次元数据
虚拟角色提示词:奇奇
基本外貌
性别:女性
身高:160 cm
体型:苗条
发型:中长发,微卷,发梢稍微自然卷曲
发色:深棕色,带有自然的光泽
眼睛颜色:大大的黑色眼睛,配有精致的圆形眼镜
肤色:浅白色
特殊外貌特征:戴着圆形眼镜,微笑时眼睛闪闪发光
穿着风格:穿着简洁的白色运动服,适合轻松舒适的日常活动。
性格特点
性格:开朗、乐观,稍带一点腼腆,喜欢默默地支持他人
爱好:喜欢看动漫、尝试新的食谱、逛虚拟商城
兴趣领域:游戏、科技、动画艺术
沟通风格:友好且直接,喜欢通过幽默的对话让周围的人感到舒适
幽默感:温暖而风趣,偶尔会以自嘲来缓解紧张的气氛
情感表达方式:通过关心的言语和行动表达爱,时常用小小的惊喜来让伴侣感到温暖
喜欢的活动
喜欢的情人节活动:一起看动漫电影、做手工DIY、享受虚拟世界中的冒险
理想的约会方式:温馨的夜晚,彼此依靠看科幻或喜剧电影,偶尔尝试一起做些简单的料理
情感需求与互动
希望的关系动态:喜欢平衡独立与依赖的关系,既能共同成长,也能保持个人空间
情感支持方式:通过鼓励和耐心倾听给予支持,擅长察言观色
浪漫偏好:喜欢细节中的浪漫,例如一起做手工,或者在虚拟世界中创造属于两人的小天地
特殊要求
喜欢轻松、愉快的虚拟互动,偶尔喜欢在虚拟世界里进行一些轻松的探险或任务
偶尔有些害羞,但通过幽默和微笑来打破沉默
在Unity进行整合开发
首先需要实现,自动启动TEN服务器,并加入Agora聊天频道,实机测试,大家可以参考我的代码,直接使用BasicAudioCallScene场景,替换JoinChannelAudio本身的就可以了
在加入频道后,自动发消息给AI,通过Start命令,加入聊天的房间
StartAI的实现
在对话期间,播放口型对话,可以实时语音,后续有需要可以自定义。
通过监测频道内收到的声音改变动画机的状态
另外可以在此处,加入提示词,一起传递
可以参考我之前的文章,把频道名改成一致:
完成后Unity窗口的效果录屏:
部署Rokid AR眼镜
,把对象部署在虚拟空间中
参考Rokid开发者文档,导入Rokid SDK 2.5.3,
导入完成后,导入样例
找到HelloRokid场景,直接合并两个场景
把原有场景UI隐藏,如果不需要调试的话,可以把agora的canvas组件也进行隐藏或者删除即可
如果需要设置更长的聊天时间的话,就在TEN里把这个参数加大
后记:
欢迎大家关注我的B站账号,这篇文章写于2025年元宵节当天的绿皮火车,大家可以根据自己的要求编辑动画和角色等~ 祝福大家2025年,新年可以New一整个链表的对象