linkface:虚拟人直播

智聪说说网
智聪说说网
智聪说说网
43262
文章
0
评论
2022-12-1920:26:07 评论 12

  利用 Live Link Face + unrealEngine + quixel bridge 方案,实现虚拟形象的建模和控制。为后面的直播等应用搭建基础流程。

  需要从下面的链接先下载 Epic Games launcher 安装好后,再下载并安装 unrealEngine

  https://www.unrealengine.com/en-US/download

  我下载的是 Unreal Engine 5.0.3 的版本

  如果是 5 之前的版本,可以到官网下载 : https://quixel.com/bridge

  5 的话会自己带这个插件不用单独下载了。

  https://www.unrealengine.com/en-US/metahuman

  要申请 “参加抢先体验”

  提交申请以后会到这个界面 :

  看到下图就 OK 了

  从这里往后等待的时间会比较长,首先点击 Launch latest MetaHuman Creator

  然后不到一分钟左右到这里,这里要等待好几分钟,视你的网络情况而定

  你看到这个界面后就进来了:

  你是可以自己创建角色的,当然也可以用预置好的这些,我用一个预置的角色演示:

  因为网络问题等了好久才启动成功

  然后创建一个项目,选游戏和空白模版就可以了

  软件第一次启动后,你想用 bridge 导入时会发现有错误提示,需要再安装一个 web browser 插件才能用 bridge ,具体是这里的第二个:

  接着登录 bridge,找到你之前创建的角色,把它导入到 虚幻引擎的工程中

超便宜刷快手双击网站,快手免费领取赞的网站 - qq免费领取5000点赞

  这里找到我们刚才编辑的角色

  经过慢长的等待,终于可以导入角色了

  会提示要启用插件,点击启用后重启软件。

  重启过程中漫长的等待,然后软件 终于打开了。

  在漫长的等待中你会经过 N 次这个:

  导入角色

  选 BP 开头的文件

  iphone x 以上手机安装 live link face 应用 ,手机用线连接到电脑。

  然后左上角设置→Live Link→ 点击添加目标,输入 PC 的 IP ,端口用默认的。

  遗憾的是虚幻5 各种尝试后都无法显示出 iphone 我的型号是 iphoneXR ,试了 iphoneXS也不行,也折腾了网络,还是不行,于是还是改用低版本 4.27 也还是没连上,实在太费时间就放弃了。所以 4 和 5 我都没连通,哎。

  好处是 4.27 有一直官方的免费 demo 可以下载使用,叫 “faceAR” ,从虚幻商城下载,直接拿来用,比较快,也不用自己通过 metahuman 建模型了

  虽然我由于各种原因没有连通,但思路就是这样的,最终的效果就是你对着手机做动作,它就可以实时同步到虚拟人那端了,来看看成功的效果:

  如果是直播的话,可以把虚拟显示结果直接利用 OBS 推流到直播平台。

  安装过程中如遇到网络问题,请使用科学上网。建议使用性能较好的电脑,否则等待时间过长,CPU 在安装和使用过程中经常会 100% ,也没法用。如遇到 “正在编辑着色器” 、“正在准备着色器” 一类的提示,没什么更好的办法加速,请耐心等待。虚幻 5 是不错,但非常卡,我的设备是 macbook Pro i7 6 核 32G 内存,CPU 直接 100%了。所以我觉得 5 还是得 m1 芯片才顶得住。直播游戏AR元宇宙想像空间很大,直播应该已经有人做了,youtube 有个叫 CodeMiko 可以看下。

  CodeMiko 背后其实是一个真实的人,她通过动作捕捉技术,实现与虚拟人的语言和动作同步。

  国内也已经有人在做了,可能将来从各大短视频平台能陆续看到这类虚拟主播了

  不用担心,买账的比你想像的多。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。

标签:linkface:虚拟人直播

智聪说说网
  • 本文由 发表于 2022-12-1920:26:07
  • 转载请务必保留本文链接:https://www.zhicongwang.com/84738.html