您现在的位置是:首页 >其他 >“数字人交互,与虚拟的自己互动”——用PaddleAvatar打造数字分身,探索人机交互的未来网站首页其他

“数字人交互,与虚拟的自己互动”——用PaddleAvatar打造数字分身,探索人机交互的未来

风信子的猫Redamancy 2024-06-17 10:13:52
简介“数字人交互,与虚拟的自己互动”——用PaddleAvatar打造数字分身,探索人机交互的未来

“数字人交互,与虚拟的自己互动”——用PaddleAvatar打造数字分身,探索人机交互的未来

你是否曾经幻想过与自己的虚拟人交互?现在,使用PaddleAvatar,您可以将自己的图像、音频和视频转化为一个逼真的数字人视频,与其进行人机交互。

PaddleAvatar是一种基于PaddlePaddle深度学习框架的数字人生成工具,基于Paddle的许多套件,它可以将您的数字图像、音频和视频合成为一个逼真的数字人视频。除此之外,PaddleAvatar还支持进一步的开发,例如使用自然语言处理技术,将数字人视频转化为一个完整的人机交互系统,使得您能够与虚拟的自己进行真实的对话和互动。

使用PaddleAvatar,您可以将数字人视频用于各种场合,例如游戏、教育、虚拟现实等等。PaddleAvatar为您提供了一个自由创作的数字世界,让您的想象力得到了充分的释放!

所以,现在就使用PaddleAvatar,打造自己的数字分身,探索人机交互的未来吧!

github地址:https://github.com/Kedreamix/PaddleAvatar

? 环境说明

  • Anaconda
  • Python 3.8
  • paddlepaddle

⚙️ 1. 安装环境

我们需要安装paddlepaddle环境,环境的安装,可以看这里paddlepaddle安装,我自己安装的版本是2.3.2,应该2.4也是能正常运行的

conda install paddlepaddle-gpu==2.3.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge

安装了paddlepaddle以后,可以安装所需要和对应的库,我已经写入requirements.txt中了

pip install -r requirements.txt

? 2.PaddleAvator技术原理

在这里插入图片描述

? 3.网页部署(Streamlit)

这里可以使用streamlit进行网页端的部署,这样就利用可视化进行体验,这里可以看到有一个8501的端口,打开来即可看到网页

streamlit run avatar.streamlit.py

在这里插入图片描述

对于TTS,文字转语音来说,我设置了两种方式

  • PaddleSpeech语音合成,可选择多种声音和语调,可以调节语言和人
  • Azure微软语音合成,调用微软的API进行语音合成,不过需要填入密钥(这里不提供)

? 4.未来展望(人机交互)

我设计了一个基于自然语言处理、语音和图像处理等人工智能技术的人机交互系统。该系统致力于实现高度逼真的数字人多模态交互,以提供更加自然和亲密的用户体验。如图所示,该系统由四个核心模块组成:

(1) 自动语音识别(ASR)模块,用于将用户的语音输入转化为文本信息。

(2) 对话系统(DS),用于接收ASR模块输出的文本信息,并进行对话处理。

(3) 文本到语音(TTS)模块,用于将DS模块输出的文本信息转化为高度逼真的语音信息。

(4) 数字人生成模块,用于预处理模型输入的图片和视频,以提取面部特征。接下来,该模型利用TTS模块将低维语音信号映射到高维视频信号,包括嘴巴、表情和动作等。最后,该模型使用神经网络来融合特征和多模态输出视频,并将其在客户端上显示。

在这里插入图片描述

? TO DO LIST

在本仓库 https://github.com/Kedreamix/PaddleAvatar 之中,已经实现了第3和第4个模块,但是离完整的人机交互系统差一部分,所以这一部分还可以继续努力

  • 加入表情迁移(丰富头部动作信息)
  • 实时语音识别(人与数字人之间就可以通过语音进行对话交流)
  • 语音克隆技术(语音克隆合成自己声音,提高数字人分身的真实感和互动体验)
  • 类GPT对话系统(提高数字人的交互性和真实感,增强数字人的智能)

✨ AIstudio在线体验

不过似乎AIstudio的应用部署加载好久,不知道有什么快的方法

https://aistudio.baidu.com/aistudio/projectdetail/6154230

? 参考资料

  • https://github.com/JiehangXie/PaddleBoBo
  • https://github.com/PaddlePaddle/PaddleSpeech
  • https://github.com/PaddlePaddle/PaddleGAN
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。