最近隨著VR知乎上經(jīng)常有人問行業(yè)的復(fù)蘇:我以后想做。VR，你需要學(xué)習(xí)什么計(jì)算機(jī)技術(shù)？本文系統(tǒng)介紹：進(jìn)入VR計(jì)算機(jī)軟件技術(shù)哪些計(jì)算機(jī)軟件技術(shù)。

由于篇幅有限，技術(shù)細(xì)節(jié)不會在術(shù)細(xì)節(jié)，主要介紹某一方向所需的軟件知識，以供進(jìn)入VR行業(yè)學(xué)生參考。

首先，是VR與眼鏡平臺相關(guān)的工作包括以下三個(gè)部分：

一、顯示技術(shù)

目前的VR設(shè)備有三類:外接頭顯(包括:PCVR 和 PSVR）、一體機(jī) 和 手機(jī)盒。這三類VR現(xiàn)有計(jì)算設(shè)備中使用的眼鏡操作系統(tǒng)（Windows、Android 等等)。因此，從系統(tǒng)層面來看，沒有新的技術(shù)內(nèi)容。但在顯示層面上，它比現(xiàn)有的計(jì)算設(shè)備更復(fù)雜。

當(dāng)游戲引擎渲染一個(gè)時(shí)VR畫后，不能像 PC 或者 手機(jī)直接上屏，還需要反畸變、合成、位置預(yù)測等過程才能貼在屏幕上。這需要很多 計(jì)算機(jī)圖形學(xué) 和 操作系統(tǒng) 相關(guān)知識。

此外，為了進(jìn)一步提高渲染效率，還需要引入視覺渲染技術(shù)。為了解決這個(gè)問題 VAC (收斂沖突)未來將引入問題 光場顯示 這些技術(shù)也需要 計(jì)算機(jī)圖形學(xué) 相關(guān)知識。

二、定位技術(shù)

VR圖像的生成取決于定位的準(zhǔn)確性。這涉及兩種技術(shù)：頭部定位 和 手柄定位。定位技術(shù)可分為以下三類：

1. 外部激光定位 （Lighthouse）

通過計(jì)算外部激光發(fā)射器掃描空間 頭盔和手柄 接收激光信號的時(shí)差推導(dǎo)出設(shè)備的空間坐標(biāo)。其特點(diǎn)是:速度快，位置準(zhǔn)確，缺點(diǎn)是 成本高。HTC vive 就是這樣。

2. 外部視覺定位

攝像頭放在外面拍攝 頭盔/手柄 計(jì)算設(shè)備的位置，Oculus Rift（紅外線） 和 PSVR (可見光)都是這樣使用的。要準(zhǔn)確高效地檢測出光標(biāo)點(diǎn)，需要 計(jì)算機(jī)視覺的圖像處理知識。

3. 內(nèi)置視覺定位（ InsideOut 定位）

估計(jì)頭盔運(yùn)動是通過頭盔上攝像頭拍攝圖片的變化來估計(jì)的。WMR、Quest使用這種方法。它的優(yōu)點(diǎn)是不需要額外的架設(shè)設(shè)備。但定位精度比激光定位差。

還需要根據(jù)圖片推斷相機(jī)的運(yùn)動 計(jì)算機(jī)視覺 相關(guān)知識。

InsideOut 頭部定位對應(yīng)的手部定位有點(diǎn)復(fù)雜，分為 電磁手柄定位，超聲手柄定位 和 視覺手柄定位 三種方法。前兩種通常是硬件直接定位坐標(biāo)，最后一種仍然是基于 計(jì)算機(jī)視覺，是攝像頭從外置攝像頭換成了頭盔上的攝像頭。

三、識別技術(shù)

在某些情況下，為了更準(zhǔn)確地反映用戶的動作，還需要識別人體的各種狀態(tài)。包括：手勢識別、身體姿勢識別、表達(dá)識別、眼睛跟蹤。手勢識別有兩種技術(shù)路線：一種是戴手套，用硬件識別，另一種是基于 計(jì)算機(jī)視覺 識別。前者優(yōu)勢準(zhǔn)確，后者使用方便。

基于視覺的手勢識別

身體姿勢識別 類似于手勢識別，也有 佩戴硬件 和 視覺 兩套方案。但現(xiàn)在常用的是基于硬件。基于視覺的姿態(tài)識別通常用于監(jiān)控場景VR其準(zhǔn)確性也比較少見 硬件方案 差很多。

眼動追蹤 主要是計(jì)算機(jī)視覺方案，現(xiàn)在有眼部肌電信號進(jìn)行眼動跟蹤，但只存在于實(shí)驗(yàn)室。最后，表情識別 只能靠 計(jì)算機(jī)視覺 來做。所有上述識別內(nèi)容，仍處于較前沿狀態(tài)，在實(shí)際應(yīng)用中主要是B端場景，C端使用相對較少。Oculus Quest 最近剛剛推出 手勢識別 預(yù)計(jì)越來越多的C端應(yīng)用將嘗試這種新的交互方式。

搭好VR眼鏡平臺后，內(nèi)容需要根據(jù)不同的應(yīng)用場景進(jìn)行填充。應(yīng)用程序端的相關(guān)技術(shù)可分為以下類別：

一、內(nèi)容開發(fā)

首先是最常見的VR在技術(shù)層面上，游戲應(yīng)用開發(fā)與普通3D游戲沒有區(qū)別，大部分都是用的。 U3D，Ureal 等待引擎開發(fā)。因此，我想在未來從事VR內(nèi)容開發(fā)的學(xué)生可以直接從游戲引擎開始。

二、視頻制作

VR目前視頻制作設(shè)備比較成熟。用戶在使用時(shí)，避免了早期拼接步驟，直接輸出 360度全景視頻。

制作簡單，但視頻領(lǐng)域仍有兩種新技術(shù)需要探索：視頻分片編解碼 和 容積攝影。

編解碼視頻分片 可以解決兩個(gè)問題：帶寬不夠 以及 芯片解碼限制。未來為了傳輸和播放12K我們需要優(yōu)化編解碼環(huán)節(jié)的視頻。

目前，一些公司已經(jīng)朝著這個(gè)方向投資。 VR4P、VSBIT、威爾云 等。

容積攝影 在之前的文章中，我們還介紹了技術(shù)：

它主要通過多攝像頭從多個(gè)角度拍攝相同的場景，最終 “拼” 一個(gè)人可以 “走進(jìn)去” 的3D視頻場景，很酷。

要實(shí)現(xiàn)這一點(diǎn)，也需要一些 圖像處理 的知識。

三、網(wǎng)絡(luò)技術(shù)

云VR會是VR該領(lǐng)域的一個(gè)大趨勢是，它需要在云服務(wù)器輸?shù)奖镜?。VR可參考相關(guān)內(nèi)容：

下圖是一種云VR 服務(wù)架構(gòu)。它主要考慮的是 云內(nèi)容編碼 及 高效傳輸。因此，一個(gè) 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù) 專家，也可以快速投資云VR的領(lǐng)域。

此外，未來流行的虛擬社交網(wǎng)絡(luò)將對網(wǎng)絡(luò)傳輸有更高的要求。圖像同步所需的數(shù)據(jù)量比傳統(tǒng)的網(wǎng)絡(luò)游戲大一個(gè)量級。目前，最受歡迎的VR社交游戲：VRChat，同時(shí)，在線人數(shù)超過2萬。同時(shí)，單個(gè)房間的人數(shù)上限只有30人左右。想要實(shí)現(xiàn)。 還需要對數(shù)據(jù)同步做很多研究。

一般來說，如果你想做點(diǎn)什么VR與眼鏡平臺相關(guān)的工作需要 與計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和操作系統(tǒng)相關(guān)的知識。如果你想VR在應(yīng)用端做一些工作，現(xiàn)在的3D游戲，視頻娛樂 所需的技術(shù)知識相似。 ，因?yàn)閂R眼鏡公司也要做上層系統(tǒng)應(yīng)用，所以也會涉及3D開發(fā)內(nèi)容。

希望以上介紹能加入。VR這個(gè)行業(yè)的學(xué)生很有幫助。

更多文章，也可以關(guān)注自己的專欄:逐鹿VR

相關(guān)文章：

聊一聊 VR虛擬現(xiàn)實(shí)(1):VR的發(fā)展史

聊一聊 VR虛擬現(xiàn)實(shí)(二):VR眼鏡的分類

聊一聊 VR虛擬現(xiàn)實(shí)(三):VR游戲

聊一聊 VR虛擬現(xiàn)實(shí)(4):當(dāng)前:VR行業(yè)的幾大挑戰(zhàn)

聊一聊 VR虛擬現(xiàn)實(shí)(5):我們離科幻電影有多遠(yuǎn)

聊一聊 VR虛擬現(xiàn)實(shí)(6):消除距離

聊一聊 VR2019年虛擬現(xiàn)實(shí)(7) VR游戲現(xiàn)狀

聊一聊 VR虛擬現(xiàn)實(shí)(8):VR視頻清晰度

聊一聊 VR虛擬現(xiàn)實(shí)(9):5G與云VR

聊一聊 VR虛擬現(xiàn)實(shí)(十):一篇文章幫助你區(qū)分VR與AR

聊一聊 VR 虛擬現(xiàn)實(shí)(十一):VR 與 AR 誰主未來？

聊一聊 VR 虛擬現(xiàn)實(shí)(十二):VR 與 AR 誰主未來？-AR篇

聊一聊 VR 虛擬現(xiàn)實(shí)(十三):進(jìn)入VR行業(yè)需要學(xué)習(xí)哪些計(jì)算機(jī)技術(shù)？

聊一聊 VR 虛擬現(xiàn)實(shí)(十四):2020年VR工業(yè)將如何發(fā)展？

聊一聊 VR 虛擬現(xiàn)實(shí)(十五):VR遠(yuǎn)程辦公離我們有多遠(yuǎn)？

聊一聊 VR 虛擬現(xiàn)實(shí)(十六):VR虛擬影院會是線下影院的顛覆者嗎？

聊一聊 VR 虛擬現(xiàn)實(shí)(十七):VR社交游戲盤點(diǎn)

聊一聊 VR 虛擬現(xiàn)實(shí) (十八）：VR社交是什么

上海西陸信息科技有限公司 承接各類微信小程序開發(fā)制作、小程序定制、APP 網(wǎng)站 開發(fā)制作，聯(lián)系電話 18221533805、15900430334