以下是关于数字人开源项目的相关信息:
如何构建高质量的 AI 数字人: 数字人的灵魂如同大脑,需具备智能水平以理解和回应交互对象。构建数字人躯壳时,开源数字人项目选择了 Live2D 作为躯壳,因为其驱动方式相比 AI 生成式更可控自然,比虚幻引擎更轻量简单。超写实风格易有一致性问题和恐怖谷效应,卡通二次元形象接受度更高。关于 Live2D 的 SDK 驱动方式可参考官方示例:https://github.com/Live2D 。
写在最后: 数字人未来有诸多应用场景,如家庭中的数字管家、学校里的数字老师、商场中的数字导购等。未来也会有很多技术突破,如将五感数据和躯壳控制参数作为输入,算法能自我迭代升级和演化躯壳控制方式。作者希望通过 Dify 搭建数字人的开源项目展现低门槛高度定制数字人的思路,数字人的核心在于 Agent 即灵魂,如何在 Dify 上编排专属灵魂值得体验。随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,数字世界将更有温度。
前言: 本文的实战案例来自于开源项目:https://github.com/wan-h/awesome-digital-human-live2d 。该项目可运用 Dify 编排框架和 Live2D 驱动模型搭建智能数字人,实现智能对话并动态交互,大家可部署尝试。
笔者的开源数字人项目(项目地址:https://github.com/wan-h/awesome-digital-human-live2d)选择了live2d作为数字人躯壳,因为这类SDK的驱动方式相比现在的AI生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于live2d的SDK驱动方式可以参考官方示例:https://github.com/Live2D。
数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务...数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式...笔者希望通过Dify搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的Agent,也就是数字人的灵魂,怎样在Dify上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用AI的能力时,AI既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
本文提及的实战案例来自于开源项目:https://github.com/wan-h/awesome-digital-human-live2d。该项目可以运用Dify编排框架和Live2D驱动模型搭建智能数字人,实现智能对话并动态交互,大家可以部署尝试,效果如下: