祖克柏「元宇宙」真的未來可期嗎？專家告訴你，為何科技巨頭投入AR、VR都不見起色-風傳媒

所以，我們希望神經網絡能夠直接給我們這些圖案在不同視角情況下，物體應該（推測）是什麼顏色，那最後這個文獻中叫體密度，個人的理解有點像是透明度的概念，也就是光子打到一個物體之後會在哪一層所停下來，光子假設能直接穿過這個物體，就表示這個物體是透明的，而光子完全穿不過就表示這個物體是光滑像鏡子一樣（幾乎反射了），如此精妙的設計加上AI的訓練，就可以達到前面所展示的效果了！

[啟動LINE推播] 每日重大新聞通知

上述所提到的這個方法，在訓練的時候需要大量拍攝許多不同角度的圖片，所以2021年Nvidia和幾所知名高校一起發表了另一篇文獻，使用對抗網絡GAN搭配神經渲染的方法，效果更加驚人，而這個GAN大家有興趣的話可以去看一下台大李弘毅教授的開放式課程，一樣會放在參考資料[4]，順帶一提，GAN這個技術就是之前生成一堆看似真人的圖片，但其實那些圖片都是GAN生成出來的假人[5]。

利用GAN加上神經渲染法的流程圖 [2]。（圖／方格子提供）

上圖是文獻提出算法的一個流程圖，這裡的styleGAN就是幫忙生成各種不同汽車的不同角度之圖片，有了這些生成的資料之後，再丟到神經網絡的訓練之中，而此方法還將圖片分成三個部分進行優化-Mesh（網格）、Light（光線）和Texture（紋理），這樣的好處就是甚麼呢？

下圖我們可以看到他們的研究成果，Input有一台紅色的五門車和一台銀色的轎車，紅框的部分我們可以生成不同角度的車子圖片，綠色框則是可以改變我們生成車子的形狀，甚至藍框還可以改變車子的紋理（顏色），最扯的是連背景都能替換掉（黑框）！

不僅能預測生成角度還能改形狀顏色和背景！[2]（圖／方格子提供）

當然，這兩種算法與傳統電影的CG特效或是在遊戲中即時運算的效果，還有一段落差，但隨著深度學習算法的進化，目前差距已經慢慢縮小，短期來說，這些AI算法會先用在遊戲場景或是元宇宙的場景之中，這樣可以大幅縮小運算時間，並且對硬體的要求也不會那麼嚴苛，遠期來說，深度學習的算法可能有機會接近電影CG特效，大家就跟著阿財拭目以待吧！

這篇文章從軟體的角度出發，和大家分享目前元宇宙在軟體上發展到什麼程度，並且阿財下一期會從硬體上出發，告訴大家目前VR還存在哪些硬傷，沒辦法讓各位在玩的時候有身歷其境如同真實般場景的感受！

參考資料

[1] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

[2] Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering

[3] NeRF生成的各種圖片

[4] 台大李宏毅教授介紹GAN

[5] GAN生成假人臉