輸入的 一張任意相機角度 3D 人體圖 片，Ta 就能動啦！

人體神經(jīng)輻射場的目標是從 2D 人體圖片中恢復(fù)高質(zhì)量的 3D 數(shù)字人并加以驅(qū)動，從而避免耗費大量人力物力去直接獲取 3D 人體幾何信息。這個方向的探索對于一系列應(yīng)用場景，比如虛擬現(xiàn)實和輔助現(xiàn)實場景，有著非常大潛在性的影響。

現(xiàn)有人體神經(jīng)輻射場生成和驅(qū)動技術(shù)主要可以分為兩類。

(相關(guān)資料圖)

第一類技術(shù)利用單目或者多目人體視頻去重建和驅(qū)動 3D 數(shù)字人。這類技術(shù)主要是針對特定數(shù)字人的建模和驅(qū)動，優(yōu)化耗時大，缺乏泛化到大規(guī)模數(shù)字人重建上的能力。

第二類技術(shù)為了提升 3D 數(shù)字人重建的效率。提出利用多視角人體圖片作為輸入去重建人體神經(jīng)輻射場。

盡管這第二類方法在 3D 人體重建上取得了一定的效果，這類方法往往需要特定相機角度下的多目人體圖片作為輸入。在現(xiàn)實生活中，我們往往只能獲取到任意相機角度下人體的一張圖片，給這類技術(shù)的應(yīng)用提出了挑戰(zhàn)。

在 ICCV2023 上，南洋理工大學 - 商湯科技聯(lián)合研究中心 S-Lab 團隊提出了基于單張圖片的可泛化可驅(qū)動人體神經(jīng)輻射場方法 SHERF。

論文地址：/abs/

項目地址：/SHERF

代碼開源：/skhu101/SHERF

SHERF 可以基于用戶輸入的一張任意相機角度 3D 人體圖片，該角度下相機和人體動作體型（SMPL）參數(shù)，以及給定目標輸出空間下任意相機參數(shù)和人體動作體型（SMPL）參數(shù)，重建并驅(qū)動該 3D 數(shù)字人。本方法旨在利用任意相機角度下人體的一張圖片去重建和驅(qū)動 3D 人體神經(jīng)輻射場。

圖 1

基本原理

人體神經(jīng)輻射場重建和驅(qū)動主要分為五個步驟（如圖 2 所示）。

圖 2

第一步為目標空間（target space）到標準空間（canonical space）的坐標轉(zhuǎn)換，基于用戶輸入目標輸出空間下任意人體動作體型參數(shù)和相機外參參數(shù)，在目標空間內(nèi)射出光線，并在光線上采樣一系列空間點，利用 SMPL 算法的逆線性蒙皮轉(zhuǎn)換（Inverse Linear Blend Skinning）將目標空間里的空間點轉(zhuǎn)換到標準空間中。

第二步為提取標準空間中 3D 點對應(yīng)的層級特征（hierarchical feature）。

全局特征（global feature）提?。?/strong>利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取一維特征，并利用映射網(wǎng)絡(luò)（Mapping Network）和風格編碼網(wǎng)絡(luò)（Style-Based Encoder）進一步將 1D 特征轉(zhuǎn)換為標準空間下的三平面特征（Tri-plane），接下來將標準空間中 3D 點投影到三平面提取相應(yīng)的全局特征；

點級別特征（Point-Level Feature）提取：首先利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取二維特征，并將觀測空間（observation space）下 SMPL 的頂點投影到輸入圖片成像平面上去提取相應(yīng)特征，緊接著利用 SMPL 算法的逆線性蒙皮轉(zhuǎn)換（Inverse Linear Blend Skinning）將觀測空間下 SMPL 的頂點轉(zhuǎn)到標準空間下構(gòu)建稀疏三維張量，然后利用稀疏卷積得到標準空間中 3D 點的點級別特征；

像素級別特征（Pixel-Aligned Feature）提取：首先利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取二維特征，并利用 SMPL 算法的線性蒙皮轉(zhuǎn)換（Linear Blend Skinning）將標準空間中 3D 點轉(zhuǎn)到觀測空間下，再投影到輸入圖片成像平面上去提取相應(yīng)像素級別特征。

第三步為特征融合（Feature Fusion Transformer），利用 Transformer 模型將三種不同級別的特征進行融合。第四步為人體神經(jīng)輻射場解碼生成相應(yīng)圖片信息，將標準空間中 3D 點坐標，光線方向向量和對應(yīng)特征輸入到人體神經(jīng)輻射場解碼網(wǎng)絡(luò)中得到 3D 點的體密度和顏色信息，并進一步基于體渲染（Volume Rendering）在目標空間下生成相應(yīng)像素的顏色值，并得到最終用戶輸入目標輸出空間下任意人體動作體型參數(shù)和相機外參參數(shù)下的圖片。

基于以上步驟，給定目標輸出空間下任意人體動作序列（SMPL）參數(shù)可以從 2D 圖片恢復(fù) 3D 數(shù)字人并加以驅(qū)動。

結(jié)果比較

本文在四個人體數(shù)據(jù)集上人體數(shù)據(jù)集上進行了實驗，分別是 THuman，RenderPeople，ZJU_MoCap，HuMMan。

該研究對比了對比了最先進的可泛化多視角人體圖片的人體神經(jīng)輻射場方法，NHP 和 MPS-NeRF。本文在 peak signal-to-noise ratio （PSNR），structural similarity index （SSIM），以及 Learned Perceptual Image Patch Similarity （LPIPS）進行了比較。如下圖所示，本文在所有數(shù)據(jù)集，所有指標上均大幅超越之前的方案。

SHERF 動態(tài)驅(qū)動 3D 人體結(jié)果如下圖所示：

從左到右分別為input Image、motion seq 1、motion seq 2

本文同樣驗證了在 in-the-wild DeepFashion 數(shù)據(jù)上的泛化和驅(qū)動效果，如下圖 3 所示，給定任意一張輸入圖片，本文利用單視角估 SMPL 的先進算法估出 SMPL 和相應(yīng)相機角度，后利用本文提出的算法對 3D 人體進行驅(qū)動。實驗結(jié)果顯示 SHERF 具有較強的泛化性。

從左到右分別為input Image、motion seq 1、motion seq 2

應(yīng)用前景

在游戲電影制作，虛擬現(xiàn)實增強現(xiàn)實或者其他需要數(shù)字人建模的場景，用戶可以無需專業(yè)技能，專業(yè)軟件，即可通過輸入的一張任意相機角度 3D 人體圖片，該角度下相機的參數(shù)和相應(yīng)的人體動作體形參數(shù)（SMPL），就可以達到重建并驅(qū)動該 3D 數(shù)字人的目的。

結(jié)語

本文提出一種基于單張輸入圖片可泛化可驅(qū)動的人體神經(jīng)輻射場方法 SHERF?？梢猿姓J的是，本文依然存在一定的缺陷。

首先，對于輸入圖片觀測不到一部分人體表面， 渲染出來的結(jié)果可以觀察到一定的瑕疵，一個解決的辦法是建立一種遮擋可知（occlusion-aware）的人體表征。

其次，關(guān)于如何補齊輸入圖片觀測不到人體部分依舊是一個很難得問題。本文從重建角度提出 SHERF，只能對觀測不到的人體部分給出一個確定性的補齊，對觀測不到部分的重建缺乏多樣性。一個可行的方案是利用生成模型在觀測不到的人體部分生成多樣性高質(zhì)量的 3D 人體效果。

最后，我們的代碼已經(jīng)全部開源，大量基于單張圖片生成的數(shù)字人結(jié)果也已經(jīng)上傳項目主頁，歡迎大家下載玩耍！

?THE END

轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)

投稿或?qū)で髨蟮溃篶ontent@