研究人員提出首個(gè)可以渲染高動(dòng)態(tài)范圍（High Dynamic Range, HDR）自然光的 3DGaussian Splatting 模型 HDR-GS，以用于新視角合成（Novel View Synthesis, NVS）。

該方法可以根據用戶(hù)輸入的曝光時(shí)間來(lái)改變渲染場(chǎng)景的光照強度，同時(shí)還可以直接渲染高動(dòng)態(tài)范圍場(chǎng)景。比當前最好的算法 HDR-NeRF 速度上要快 1000 倍。

常見(jiàn)的 RGB 圖像大都為低動(dòng)態(tài)范圍（Low Dynamic Range, LDR），亮度的取值范圍在 [0,255] 之間。

然而人眼對亮度的感知范圍要比 RGB 圖像寬廣得多，一般為 [0,+∞]，導致 LDR 圖像很難反映真實(shí)場(chǎng)景的亮度范圍，使得一些較暗或者較亮的區域的細節難以被捕捉，高動(dòng)態(tài)范圍（High Dynamic Range，HDR）圖像應運而生，具有更廣的亮度范圍。

新視角合成（Novel View Synthesis，NVS）任務(wù)是在給定「一個(gè)場(chǎng)景的幾張不同視角圖像，并且相機位置已知」的情況下，合成其他新視角的場(chǎng)景圖像。

同比于 LDR NVS，HDR NVS 能更好地擬合人類(lèi)視覺(jué)，捕獲更多的場(chǎng)景細節，渲染更高質(zhì)量、視覺(jué)效果更好的圖片，在自動(dòng)駕駛、圖像編輯、數字人等方面有著(zhù)十分廣泛的應用。

當前主流的 HDR NVS 方法主要基于神經(jīng)輻射場(chǎng)（Neural Radiance Fields, NeRF），然而，NeRF 的 ray tracing 加 volume rendering 機制都十分耗時(shí)，常常需要十分密集地采集射線(xiàn)，然后在每一條射線(xiàn)上采集多個(gè) 3D 點(diǎn)，對每一個(gè) 3D 點(diǎn)過(guò)一遍 MLP 來(lái)計算體密度和顏色，嚴重拖慢了訓練時(shí)間和推理速度。當前最好的 NeRF 算法 HDR-NeRF 需要耗費 9 小時(shí)來(lái)訓練一個(gè)場(chǎng)景，8.2 秒來(lái)渲染一張尺寸為 400x400 的圖像。

為了解決上述問(wèn)題，清華大學(xué)、上海交通大學(xué)、香港科技大學(xué)、約翰霍普金斯大學(xué)的研究人員提出了首個(gè)基于 3DGS 的方法 HDR-GS，用于三維 HDR 成像；設計了一種有著(zhù)雙動(dòng)態(tài)范圍的三維高斯點(diǎn)云模型，同時(shí)搭配兩條平行的光柵化處理管線(xiàn)以用于渲染 HDR 圖像和光照強度可控的 LDR 圖像。

研究人員還重新矯正了一個(gè) HDR 多視角圖像數據集，計算得到的相機參數和初始化點(diǎn)云能夠支持 3DGS 類(lèi)算法的研究。HDR-GS 算法在超過(guò)當前最好方法 1.91 dB PSNR 的同時(shí)僅使用 6.3% 的訓練時(shí)間并實(shí)現了 1000 倍的渲染速度。

一演示如下：

對比近期出現的 3D Gaussian Splatting（3DGS），雖然能在保證圖像質(zhì)量的同時(shí)也大幅提升了訓練和渲染速度，但卻很難直接應用到 HDR NVS 上，仍然存在三個(gè)主要問(wèn)題：

1. 渲染的圖片的動(dòng)態(tài)范圍依舊是 [0,255]，仍舊屬于 LDR；

2. 直接使用不同光照的圖片來(lái)訓練 3DGS 容易導致模型不收斂，因為 3DGS 的球諧函數（Spherical Harmonics，SH）無(wú)法適應光照的變化，時(shí)常會(huì )導致偽影、模糊、顏色畸變等問(wèn)題；

3. 常規的 3DGS 無(wú)法改變渲染場(chǎng)景的亮度，極大限制了應用場(chǎng)景，尤其是在 AR / VR、電影、游戲等領(lǐng)域，經(jīng)常需要改變光照條件來(lái)反映人物的心情與環(huán)境氛圍。

方法架構

研究人員首先使用 Structure-from-Motion（SfM 算法來(lái)重新矯正場(chǎng)景的相機參數并初始化高斯點(diǎn)云，然后將數據喂入到雙動(dòng)態(tài)范圍（Dual Dynamic Range，DDR）的高斯點(diǎn)云模型來(lái)同時(shí)擬合 HDR 和 LDR 顏色，使用 SH 來(lái)直接擬合 HDR 顏色。

再使用三個(gè)獨立的 MLP 來(lái)分別對 RGB 三通道做 tone-mapping 操作，根據用戶(hù)輸入的曝光時(shí)間將 HDR 顏色轉為 LDR 顏色，然后將 3D 點(diǎn)的 LDR 和 HDR 顏色喂入到平行光柵化（Parallel Differentiable Rasterization, PDR）處理管線(xiàn)來(lái)渲染出 HDR 和 LDR 圖像。

實(shí)驗結果

定量結果

合成實(shí)驗和真實(shí)實(shí)驗的定量對比結果分別如表 1 和表 2 所示，HDR-GS 在性能上顯著(zhù)超過(guò)之前方法的同時(shí)，訓練和推理也分別達到了 16 倍速和 1000 倍速。

視覺(jué)結果

LDR NVS 的視覺(jué)對比結果如圖 4 和圖 5 所示，HDR NVS 的視覺(jué)對比結果如圖 6 所示。HDR-GS 能夠渲染出更豐富更清晰的圖像細節，更好地捕獲 HDR 場(chǎng)景并能靈活地改變 LDR 場(chǎng)景的光照強度。

參考資料：

https://arxiv.org/abs/2405.15125