首个 3D 人像视频生成模型来了:仅需 1 张 2D 人像,眨眼、口型都能改变

  发布时间:2025-07-08 20:40:02   作者:玩站小弟   我要评论
只需 1 张普通照片,就能合成全角度动态 3D 视频。眨个眼、动动嘴,都是小 case~最近 AIGC 爆火,3D 人像模型生成这边也没闲着。如 StyleNerf、StyleSDF、EG3D 等方法 。

只需 1 张普通照片,人D人就能合成全角度动态 3D 视频。像视型仅需张像眨型都

眨个眼、频生动动嘴,成模都是眼口小 case~

最近 AIGC 爆火,3D 人像模型生成这边也没闲着。人D人

如 StyleNerf、像视型仅需张像眨型都StyleSDF、频生EG3D 等方法相继出世。成模

但到目前为止,眼口这种生成模型都还停留在单帧人像上。人D人

最近,像视型仅需张像眨型都来自新加坡国立大学(NUS)和字节跳动的频生研究人员,在静态 3D 模型的成模基础上,提出了首个 3D 人像视频生成模型:PV3D(3D model for Portrait Video generation)。眼口

PV3D 的训练继承了 3D GAN 模型的优点,即无需动态的三维数据监督,只需要在足够数量的单视角 2D 视频数据上进行训练。

该生成框架将人像和动作进行解耦,基于视频的时间戳生成各自的三维表征,让视频可以从任意角度进行渲染。

长视频也能挑战:

PV3D 分别从独立的高斯分布中采样随机噪声来表征外表和运动,外表噪声生成视频的主体内容,控制人像的 ID 以及人脸的各个部分,运动噪声配合视频帧的时间戳控制当前帧的动作。

为了确保生成内容的真实性以及外表和运动的解耦,PV3D 训练两个独立的判别器分别判定外表和运动的合理性。

该方法可以生成随机的人像视频以及相应的高质量的动态几何表面,让视频可以从任意角度进行渲染。

同时,该方法可以支持下游的应用任务,比如静态人像驱动,人像视频的重建以及对人像动作的修改,所有的结果均可以保持高的多视角一致性。

主流的 3D GAN 模型都脱胎于 StyleGAN 结构。

因此这些模型均会将采样得到的噪声先映射到一个高维度的中间隐式编码 (intermidate latent code),大量现有的研究表明这种结构的隐式空间包含了丰富的语义信息,可以用来控制生成的图像内容。

因此,最直接的拓展方式就是使用预训练的单帧 3D GAN 模型,通过学习一个额外的在隐式空间进行推理的时序模型对生成的内容进行合理的改变,从而生成 3D 人像视频。

然而,该方法的缺点是图片生成器和时序推理模型在不同的阶段分别被优化,导致最终的视频很难保持时间上的一致性。

另一种主流的视频生成模型使用稀疏训练的方式,在训练阶段直接随机生成视频中的少量帧,使用少数帧的时间戳编码运动信息,进一步的改变中间隐式编码从而一次性优化完整的生成器。

然而这种做法将全部的时序信息都包含在隐式空间中,导致最终的模型多样性较差、生成质量较低。

与上述方法不同,PV3D 在原有 GAN 模型的基础上在特定尺度的生成模块中插入运动信息的编码层,这些编码层独立地将控制运动的噪声映射为隐式编码,使用 modulated convolution 操纵外表特征,再将操纵后的特征与原始特征融合,从而提高生成视频的时序一致性和运动多样性。

此外,本工作还研究了以下问题:

如何有效地在视频生成任务中利用渲染的视角先验信息

针对 3D 视频生成,如何设计合理的外表和运动判别器

PV3D 模型基于最新的静态 3D GAN 模型 EG3D 进行开发,EG3D 采用高效的 3D 表征 Tri-plane 实现图像生成。

在训练阶段,PV3D 采用稀疏训练的策略,对于一个视频采样两个噪声、两个时间戳以及各自时刻对应的相机视角。

相对应的,模型生成两帧对应的 3D 表征进行渲染得到粗糙的结果。随后使用超分辨率模块将图片上采样。

PV3D 设计了两个独立的判别器监督网络的学习,其中视频判别器会编码两帧的相机视角以及时间间隔去判断生成结果的合理性。

研究人员使用 FVD 来评估生成视频的质量。此外,为了评估多视角的一致性以及 3D 几何结构的质量,研究人员将 3D GAN 工作中常用的评价指标 (生成人像的 ID 一致性、Chamfer 距离、多视角的重投影误差) 拓展到视频任务中。

研究人员首先采用同期的 3D 视频生成工作 3DVidGen 作为基线。此外,研究人员还基于 SOTA 的单帧 3D GAN (EG3D 和 StyleNerf) 和 2D 视频生成模型构建了三个基线模型。在 3 个公开数据集 (VoxCeleb, CelebV-HQ, TalkingHead-1KH) 上的实验结果表明,PV3D 在生成视频的多样性,3D 几何的质量,以及多视角一致性上均超越基线模型。

研究人员对 PV3D 的各部分设计进行了消融实验,例如:运动信息的编码和注入的位置,运动信息的插入方式,相机视角的采样策略,以及视频判别器的设计。

目前,该论文已被 ICLR 2023 接收。

作者团队由新加坡国立大学 Show Lab 和字节跳动组成。

论文地址:

https://openreview.net/pdf?id=o3yygm3lnzS

项目主页:

https://showlab.github.io/pv3d/

本文来自微信公众号:量子位 (ID:QbitAI),作者:关注前沿科技

  • Tag:

相关文章

  • 迪士尼公司高层变动!71岁原CEO回归,任期2年

    中新经纬11月21日电 据华尔街日报中文网21日报道,根据娱乐巨头华特迪士尼公司发布的一份声明,董事会周日晚间重新启用现年71岁的老将罗伯特·艾格Robert Iger),接替首席执行官鲍勃·查佩克B
    2025-07-08
  • 油价疯涨的上半年,中国前十大原油供应国发生了什么变化?

    实习记者 | 戴晶晶由于中国“富煤、贫油、少气”的能源资源禀赋,中国的石油外采比例超过70%,国际市场变化深刻影响着中国能源的消费成本。7月20日,海关总署发布的统计数据显示,今年上半年,中国原油的前
    2025-07-08
  • 《2022年1-6月中国游戏产业报告》:自主研发游戏海外销售收入增长6.16%

    证券时报e公司讯,今日,游戏工委主任委员张毅君正式对外发布《2022年1-6月中国游戏产业报告》显示,加强出海布局就成了国产原创游戏持续发展的突破口。上半年自主研发游戏海外市场实际销售收入89.89亿
    2025-07-08
  • 频抓个股大涨机会 牛散靠实力还是碰运气?

    近期,一些牛散抓住了相关个股大涨的机会,他们是否凭实力预见了买入后的大涨?通过投资风格,就能判断相关牛散是靠实力还是运气。牛散群体中,有做短线打板的,有做价值趋势的,也有埋伏低位重组的。其中,短线打板
    2025-07-08
  • 曾经辱骂过德国总理的他,当上了乌克兰副外长

    德国《明镜》周刊19日报道称,曾尖锐批评德国政府的乌克兰前驻德国大使安德里·梅利尼克,现被任命为外交部副部长。梅利尼克 资料图乌克兰媒体援引议会中的政府代表梅尔尼丘克的话报道称,该决定是由内阁于18日
    2025-07-08
  • 应急管理部:上半年全国生产安全事故11076起、死亡8870人

    应急管理部7月例行新闻发布会21日在北京举行。应急管理部新闻发言人、新闻宣传司司长申展利在会上通报:上半年,全国共发生各类生产安全事故11076起、死亡8870人。申展利表示,上半年全国安全生产形势总
    2025-07-08

最新评论