- 0
- 0
- 0
分享
- 数字人全集
-
原创 2022-04-11
数字人·专题分享合辑目录
#01 数字人驱动方式
离线式驱动
实时驱动
跨平台数字人形象统一接入工具
#02 数字人虚拟偶像制作
虚拟偶像创作与运营指南
虚拟形象制作开发工具
#03 数字人实业应用场景
数字人 & 社交
数字人 & 文娱产业
数字人 & 情感陪伴
数字人 & 工业产品与场景
#04 数字人发展趋势展望
发展路径维度分析
数字人 & 精神外骨骼
数字人 & 精神陪伴
Mixlab
如果你拥有了自己的数字人,会将如何使用ta?
小杜
我需要一位虚拟主播来播报我的推送文章~
最近正好尝试了一种虚拟人的解决方案
shadow
小杜
厉害了,制作用到了什么技术?
TTS+一张图片+一段驱动动作(first order motion)
shadow
小杜
查阅了下资料,这种驱动数字人属于 First order motion model
# vonage 专业文本转语音工具
# Synthesia 运用TTS + first order motion 的数字人视频生成工具
ML1726
上述案例多用于“离线式”的数字人应用场景。如果需要与数字人进行实时的交流沟通,有项目采用的是 ASR+TTS+Audio2face 方案。
ASR 自动语音识别 + TTS 文本转语音 +Voice2Face 语音控制驱动模型(声音数据对应的标签是模型动画的 blendshape 权重)
小杜
可以上手体验下开源项目,自己制作数字人
FACEGOOD 将音频转换为混合权重(blendshape 权重),并在 UE 项目中驱动数字人小美。FACEGOOD为小美打造的Test部分和UE项目不提供商业用途,仅供测试使用。
ML1593
举手🙋♂️,现在比较困扰的问题是通用元宇宙身份解决方案。将一个通用的虚拟形象迁入多个平台有什么简单快捷的方法吗?
或许从摄像头这块接入是最便捷的方法?这类数字人算是元宇宙的初级分身了。
shadow
Snap Camera 可调用用户设备的摄像头,在任何平台使用摄像头输出头像或视频时均可使用Snap Camera的滤镜库
小杜
试试用 Snap Camera 迁入 Vland 元宇宙空间
小杜
用摄像头作为跨平台通用形象接入的切入口还挺简易高效的,只是效果渲染层面还有待提高哈,期待 摄像头—完全体数字人化身 产品的出现。
#02
数字人虚拟偶像制作
2.1 虚拟偶像创作与运营指南
Mixlab
要创造一位虚拟偶像,可以从哪些方面考虑ta的形象要素?
小杜
无论虚拟还是现实,成为偶像都无法避开三个关键 “指标”——
1.靓丽(吸引人)的外表
2.独特的才艺
3.魅力个性。
而虚拟偶像,ta的 “功能性” 要更强,粉丝们可以通过更多的技术手段、通道来与虚拟偶像进行互动。
共享共创,是虚拟偶像的优独特势——粉丝们拥有更大的对于偶像的期待决定权;同时,虚拟偶像也能拥有千人千面的形象管理系统来满足不同粉丝群体的期待要求。由粉丝塑造偶像的多重可能,这是与真实偶像以个人魅力引领粉丝追随的模式大不相同的。
Mixlab
现有的虚拟偶像主要有哪些类别?
知识库
从身份定位上看,虚拟偶像可分为:虚拟艺人偶像、真实艺人(工作人员)数字分身
——以是否在真实世界存在人物原型来区分;
从技术实现与视觉表现类别上看,虚拟偶像包括
1.IP运营为主的二次元虚拟偶像
2.超写实虚拟偶像
3.完全算法驱动的人工智能虚拟偶像(完全摆脱人类控制)
——以是否有人类运营团队进行管理(虚拟偶像智能程度)以及2D/3D视觉效果加以区分。
小杜
Mixlab
要塑造一位虚拟偶像,而不是虚拟产品,如何体现ta的生命力呢?
ML322
我觉得可以从偶像IP价值与粉丝情感需求两个方面来思考虚拟偶像的生命力。虚拟偶像IP的底层价值是通过打赏等粉丝情绪价值行为进而创造经济价值来维系团队运作,这也是IP生存的基本条件。通过新V联动组团出道、开展有个人特色的公开活动以及有一定品质保障和风格的切片短视频宣发等等方式保证IP价值持续保值、不断升值。
虚拟偶像的高位价值大小与粉丝群体的精神娱乐需求满足程度紧密联系,也是虚拟偶像生命力的核心。我最近亲身体验了虚拟偶像 天仓五Alice 的运营内容。该虚拟偶像运营结合电竞(打游戏)和歌回(唱歌)优势,平衡兼顾了男女粉丝群体的娱乐需求,诸如投票等公开活动带给了粉丝养成系的情感满足感,匿名提问箱等多渠道曝光丰富了与DD(粉丝术语-喜欢多个虚拟主播,爱好广泛的粉丝)的互动频率和方式,大幅增强了偶像IP生命力。
小杜
虚拟偶像发展史:TA们到底如何成功?万字复盘
这篇推文详细介绍了虚拟偶像的发展史~
元宇宙记者又来活儿了,去报道下虚拟偶像的制作工具?
shadow
小杜
先总结下虚拟偶像 “造星” 指南
A.人设形象塑造
1.靓丽(吸引人)的外表
2.独特的才艺
3.魅力个性
4.共享共创
B.形象类别
1.虚拟艺人偶像
2.真实艺人数字分身 or
1.IP运营为主的二次元虚拟偶像
2.超写实虚拟偶像
3.完全算法驱动的人工智能虚拟偶像(完全摆脱人类控制)
C.偶像生命力
1.偶像IP价值
2.粉丝情感需求满足
考察虚拟偶像制作工具可从形象类别入手,分二次元/超写实/算法驱动,三类创作工具进行总结。
Live2D 是一种生成 2D 动画的技术,角色通常是动漫风格。该技术使用基于插图的连续分层,不需要逐帧动画或 3D 模型,使角色可以在保持原始插图的同时以低成本进行运动动作。
Vroid studio 支持用户简单快捷创建虚拟人物,功能包括捏脸系统、身体塑造系统与服饰设计系统
小杜
Live2D 偏向于原画稿件的动画生成设计;Vroid Studio 偏向于二次元虚拟形象设计。Live2D 是b站 VUP(b站虚拟偶像)热门的创作工具,对 “造星“ 感兴趣的同学推荐上手尝试下哦~
Avatary 是 FACEGOOD 推出的一款集表情建模,绑定,面部捕捉及驱动的全流程软件,能帮用户高效地解决人脸表情的采集—、解析、驱动及快速绑定等问题,应用于虚拟偶像和虚拟直播等新兴的领域。
- MetaHuman Creator
MetaHuman Creator 是一款基于云服务的应用,能帮助任何人在几分钟内创建照片级逼真的数字人类。MetaHuman 包含完整的绑定,可在虚幻引擎项目中用于制作动画。
小杜
两款超写实数字人创作工具都非常地惊艳,可以支持低成本快速高效地创建超写实数字人。对超写实虚拟偶像直播、游戏等领域感性兴趣的同学强烈推荐上手体验。
UneeQ Creator 支持用户在几分钟内设计、开发和部署定制化、人工智能驱动的数字人类。用户可以非常容易地利用现有数据制作聊天机器人或应用程序,使各类数字人应用场景的部署与用户体验更为人性化。
Pinscreen 运用AI 面部合成技术 (paGAN) 与包括语音识别和语音合成的 NLP 等技术,为用户提供包括虚拟助手制作、人工智能换脸与形象生成、动作捕捉等多功能的 AI数字人制作工具。
小杜
UneeQ Creator 更侧重终于智能驱动数字人与用户的对话交流与用户体验细节,并通过AI 动画系统扩展到全身交互,数字人还能够通过视觉、语气和空间意识进行更为生动的交流。Pinscreen 相对而言功能更加广泛,玩法较为多样。但是相较于完全脱离人工控制的完全智能体还是有很大的差距。或许将来的某个时间点,爱因斯坦会通过数字分身的形象 “完全复活” 与世人再次进行智识层面的交流。
#03
数字人实业应用场景
Mixlab
虚拟数字人与实业应用场景有哪些结合可能?
ML1680
虚拟人日记/虚拟人手表
虚拟人夜店/虚拟人乐队
虚拟人名片/虚拟人简历
虚拟人彩铃/虚拟人病历
虚拟人相亲/虚拟人陪伴
......
知识库
来一个调研,寻找下数字虚拟人在日常生活与实业应用场景中有哪些优秀的产品与解决方案?
小杜
我先做一下归纳总结~
1.数字人 & 社交
2.数字人 & 文娱产业
3.数字人 & 情感陪伴
4.数字人 & 工业产品与场景
......持续探索中~
Linktree 支持用户的跨平台使用 ,可以在任何应用平台上对接用户的社交受众。
Linktree 可视为最新视频、文章、食谱、旅游、商店、网站、社交帖子的启动板——无论用户在哪里在线都可以迅速启用所需功能。
Mixlab
关于数字名片,有没有优秀的 3D 展方案?
小杜
光有名片展示还不够,有效社交要参加正式活动才算数~
#04
数字人发展趋势展望
4.1 发展路径维度分析
Mixlab
虚拟数字人有哪些发展路线?如何理清发展趋势?
小杜
工具、技术始终服务于内容产出,够用、用好就行。“超写实” 不一定在任何应用情景中都比 “二次元” 好,同样虚拟数字人的智能程度也并非越高越好,这取决于用户是否感觉 “舒适”。单纯用数字人形象与智能化程度发展来分析未来趋势还是不妥的。
知识库
以 “工具” 与 “情感” 两条应用路线为参考分析数字人发展趋势或许更为合理?两个方向都是以“技术”为基点,但发展为不同的应用路线。
小杜
以论文 Virtual Reality and Digital Human Modeling for Ergonomic Assessment in Industrial Product Development: A Patent and Literature Review 为分析视角探索数字人“精神外骨骼” 的发展方向;以产品 Replika 为典型案例探索数字人 “情感陪伴” 的实现方案。
小杜
我提取了24页论文的关键信息点,请查阅浓缩信息12条~
论文地址:
https://www.mdpi.com/2076-3417/12/3/1084
小杜
以本篇综述为数字人趋势分析切入视角再次精炼概括—
1.虚拟现实技术与数字人体建模技术应用市场规模长时间持续扩大中,上升势头猛烈。
2.虚拟数字人正在应用于各行各业中,有成为通用工具的潜质,Field Unspecified 正在持续开拓中。
3.软硬件结合、虚实端结合的行业大趋势应用于虚拟数字人同样适用。精神外骨骼数字人应用开发可参考本文所列举的软硬件开发工具与代表案例。
---
接下来探索技术的情感路线~
4.3 数字人发展趋势—精神陪伴
Replika 支持以不同的方式处理对话,可以理解和回复短信或通过语音与人交流。用户可以向 Replika 发送照片或在增强现实中与其交谈并进行体验反馈。
- 数字人交流情感反馈系统
更具体的反馈包括单击赞成和反对选择外的四个额外反应。Replika 通过这种方式了解用户喜欢或不喜欢某些回复的原因,从而进一步了解人们通过与 Replika 交谈的感受。
- 智能架构
小杜
以 Replika 为例总结技术的情感陪伴路线—
1.NLP 自然语义算法类应用于文本与图像对话理解、生成;
2.多维通道的数字人交互体验;
3.情感计算与用户情感度量方法。
知识库
虚拟数字人是由计算机图形学、深度学习等技术手段为创造基础,在非物理现实空间的 “比特” 信息世界中拥有多重人类特征的产物。技术做为虚拟数字人的根基,发展的趋势之一——成为人类精神外骨骼。同时,虚拟数字人包含 “人” 的特征属性,那么另外一条发展路线便是内化为人类的精神陪伴支撑。前者代表数字人 “工具” 层面的发展趋势,后者体现 “情感” 层面的发展趋势。
数字人专题完结~
shadow
opus
欢迎加入社群,探索 数字人 的多样玩法~
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号无界社区mixlab ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。