如果要讓VR的虛擬場景更真實，VR的解析度就要越來越高，但解析度越高，就需要越好的電腦配置才跑得動，我們不可能玩VR每個人還要配一張RTX3090的顯卡（訂價1499美金），VR要普及很重要的關鍵是不能太貴（VR頭盔2萬配一台電腦8萬誰要玩啊！），所以回到一開始的問題，AI能夠創造出一個極真實的虛擬場景嗎？
這邊介紹兩個方法，非常經典且驚嚇，一個是大名鼎鼎的神經輻射法（Neural Radiance Field（NeRF））[1]和利用對抗網絡（Generative Adversarial Networks（GANs））優化的神經渲染法[2]，當然這兩個方法細節牽扯到許多深度學習的算法，有興趣的可以直接去看原文（放參考資料）。
NeRF這個方法想做的事情是，假如我現在左視角的圖片，我要如何生成出右視角的圖片？具體來說，我有一張平面的照片，我能不能透過AI的方法，生成其他視角的圖片並合成3D圖片，如此一來就可以大量減少建模時所需要的運算的資源。
下面的圖片就是他們的研究成果，只需要輸入少量的2D角度的圖片，就可以造出連續不同視角的圖片，效果可以說是非常驚人，尤其是生成出來的圖片擁有金屬光澤感、陰影甚至是葉片的細節都表現得栩栩如生，大家有興趣可以去看官網上完整版的展示，放在參考資料中。[3]
那他們是如何做得如此逼真的效果？這邊引用文獻中的圖片簡單為大家解釋，首先他們蒐集了非常多不同角度拍攝到的2D圖片當作訓練集（包含已知的相機參數），如下圖（a）所示，假如有一台怪手，我們拍攝的照片中會含有（x、y、z）三種不同的參數座標，而（theta、phi）則代表了視角的方向（我們從哪個角度對照片進行拍攝）。
擁有（x、y、z、theta、phi）的5D資訊之後，我們就可以丟到神經網絡中進行訓練，那他們這邊使用了多層感知器MLP（multilayer perceptron），MLP的知識我就不在這邊詳細展開，有興趣的朋友google一下，滿多人提到的，這邊大家就想像成一個神經網絡裡的方法，但輸出是什麼？
我們希望藉由不同角度資訊的照片，能夠將這類型的2D空間資訊轉換成（R、G、B、sigma）如上圖（b）所示，這裡的RGB指的就是三原色紅綠藍，我們知道三原色其實可以合成世界上各種五彩斑斕的色彩，而在渲染圖片的時候，不管是圖像的紋理或是細節其實都是由顏色組成，而這些顏色的差異也都是因為光所造成的，即便是陰影我們也能用不同的RGB把陰影調色出來。
