资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

这个数字人开源项目太牛了,非常全面的项目解决方案(含源码)

原创 2023-12-05

大家好,我是GitHub好项目君,每天分享GitHub上的好项目,这几天一个短视频火了,有人部署了300台电脑就在那里直播!赚翻了,这就是数字人技术!视频大家去看

今天介绍一个开源的完整的数字人项目:Fay

Fay是一个完整的开源项目,包含Fay控制器及数字人模型,可灵活组合出不同的应用场景:虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、心理测评

github源代码:

https://github.com/TheRamU/Fay

国内源代码:

http://www.gitpp.com/pythonking/Fay

Fay的介绍

Fay作为一个开源项目,提供了构建数字化主播和其他虚拟角色的解决方案。项目的主要组成部分是Fay控制器和数字人模型,这些可以结合起来创造多种应用场景。以下是Fay能够生成的几种应用场景:

1. 虚拟主播:通过Fay控制器及数字人模型,开发者能够创建虚拟主播来进行直播带货或视频内容制作。这些主播可以是基于真实人物的模拟形象,也可以是完全的虚构角色。

2. 商品导购:数字人可以作为商品导购员,在商店或在线平台上辅助顾客进行购物选择,提供产品信息和建议。

3. 语音助理和远程语音助理:数字人可以作为语音助理,进行语音交互,提供信息查询、日程管理等辅助任务。在远程工作环境中,这样的数字人助手可以帮助进行远程会议管理、议程安排等。

4. 数字人互动:在教育、娱乐或客户服务领域,数字人可以用于创建互动体验,如教学互动、游戏互动等。

5. 数字人面试官:在招聘过程中,使用数字人面试官可以提供自动化的面试流程,公正地评估应聘者的资格。

6. 心理测评:数字人可用于创建心理测评工具,辅助心理健康评估,不过这需要确保测评内容的科学性和专业性。

7. 贾维斯/Her:类似电影《钢铁侠》中的贾维斯或《Her》中的操作系统,数字人可以作为智能助手,在用户日常生活中提供帮助,如管理家务、提供建议等。

Fay项目的开发考虑了当前科技趋势和市场需求,使开发者能够利用开源代码,创造具有多种功能的数字人,以适应不同的商业和个体需求。通过使用Fay,商家和个人可以节省传统直播或客户服务中的人力成本,同时提供24小时不间断的服务。Gitee平台支持AI模型的托管,为AI开发者提供了方便的托管服务,确保了开发和部署的高效性和稳定性。

值得注意的是,尽管Fay项目的潜力巨大,但开发者在构建和部署应用时,也需要遵守相关法律法规,并确保内容的真实性和合法性,特别是在涉及商品推广、心理健康测评等敏感领域。

开发人员可以利用该项目简单地构建各种类型的数字人或数字助理。该项目各模块之间耦合度非常低,包括声音来源、语音识别、情绪分析、NLP处理、情绪语音合成、语音输出和表情动作输出等模块。每个模块都可以轻松地更换。

Fay控制器的用途

Fay控制器是一个开源项目,主要用于管理和控制数字人模型,以实现各种应用场景,如虚拟主播、商品导购、语音助理等。Fay控制器的核心功能包括:

1. 语音识别与合成:Fay控制器支持语音识别和语音合成技术,可以实现与用户的自然语言交互。通过识别用户的语音输入,控制器可以理解用户的需求并提供相应的回应。

2. 动作控制:Fay控制器可以控制数字人的动作和表情,使数字人能够根据应用场景进行相应的表演和互动。通过动作控制,数字人可以实现更加自然和逼真的表现。

3. 场景管理:Fay控制器支持多种场景的应用,可以根据不同场景的需要,调整数字人的表现和行为。例如,在商品导购场景下,数字人可以展示商品信息并提供购买建议;在教育场景下,数字人可以进行教学讲解等。

4. 应用开发接口:Fay控制器提供了一系列开发接口,使开发者可以方便地创建和定制数字人应用。开发者可以利用这些接口,将数字人集成到自己的应用中,实现各种创新的应用场景。

总的来说,Fay控制器的用途在于提供一个灵活、强大的工具,使开发者能够轻松地创建和部署数字人应用,满足不同领域的需求。

优秀的产品都值得用Fay数字人从新做一遍

10月,Fay数字人 AI Agent版与官方demo(实验箱)同时开源! 目前进展

一、APP载入UE数字人:

1、像素流服务搭建及优化:已经完成,上线时会同步开放代码

2、UE音频流插件:正在调试修复Bug.

3、改进BS唇型:进行中.

二、智慧农业箱硬件改造:完成并已经稳定运行,上线时会公布硬件设计图.

三、IOTM3.0及Raspberry逻辑修改:完成并已经稳定运行,上线时会同步开放代码.

四、农业LLM:已经搭建农业知识图谱。开始测试gpt4的设备控制的推理能力:已经完成硬件控制规则的自动初始化及控制逻辑的自动修正测试.

如何实现?

据项目开发者在博客中介绍,Fay 的基本理念就是“把人数字化,以行人的职责”。

具体来讲是通过技术把人的特征数字化,比如进行语音识别、情绪分析,构建人的表情和动作,合成带有情绪的语音并输出,让这个数字人有“耳朵”“嘴巴”

从构成上看,Fay 由多个模块组成,各个模块之间耦合度非常低,包括声音来源、语音识别、情绪分析、NLP 处理、情绪语音合成、语音输出和表情动作输出等模块,每个模块都可根据需要自行替换。下图为 Fay 控制器的核心逻辑。

如何安装?部署安装环境

  1. 该项目需在 Python 3.8.0 + 环境下运行;
  2. 如要开启直播功能,需下载 Chrome 浏览器;
  3. 安装依赖。
     pip install -r requirements.txt

更多详情官网

数字人在电商直播的应用主要体现在以下几个方面:

1. 商品展示与推广:通过数字人虚拟主播的形象定制和语言表达,可以将商品进行精准展示和推广,提高商品的吸引力和购买欲望。

2. 降低成本:与传统的线下直播相比,数字人直播可以省去场地租赁、设备购置等大量费用,降低运营成本。

3. 超越时间和空间限制:数字人直播可以随时随地进行,不受时间和空间的限制,实现全天候直播,吸引更多观众。

4. 可定制化内容:数字人虚拟主播可以根据不同场景和需求进行定制,提供更多元化、创新化的内容,满足用户的个性化需求。

5. 强大的互动体验:通过先进的人工智能技术,数字人虚拟主播可以与观众进行实时互动,增加用户参与度和粘性。

6. 个性化购物体验:数字人直播软件为电商直播注入了更多的个性化元素。虚拟主播可以根据观众的兴趣和需求,实时调整内容,提供更加个性化的购物建议。

7. 持续互动:数字人直播软件可以实现24/7的持续直播,无需主播休息。这意味着观众可以随时进入直播间,获取产品信息并进行购买。

8. 语音和情感分析:一些数字人直播软件已经整合了语音和情感分析技术。这使得虚拟主播能够更好地理解和回应观众的情感和需求。

9. 跨平台传播:数字人直播软件可以轻松集成到各种社交媒体平台和电商网站中,提高了曝光度和销售机会。

github源代码:

https://github.com/TheRamU/Fay

国内源代码:

http://www.gitpp.com/pythonking/Fay

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号德沛数据科技 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

项目源码 数艺网

39654 举报
  0
登录| 注册 后参与评论