什么是MR?

如何區分增強現實、混合現實以及介導現實?VR是計算機生成的純粹虛擬環境，AR簡單地在裸眼現實中疊加虛擬畫面，人可能無法直接用手勢去與其互動，例如手機AR應用必須在手機上點觸操作，而混合現實則在此基礎上為人們提供了更方便地手勢交互，比如微軟Hololens，可以捕捉人的手部動作，用戶可以直接用手點擊疊加在現實物體上的虛擬界面。此外還有一個包含AR/VR和Mixed Reality的Mediated Reality(介導現實)的概念，它可以重新生成一個數字現實，現實中的任何物體不僅可以疊加虛擬畫面，還可以被削減變形產生極大地改變。打個比方，VR是讓你醒著做夢，AR是讓你變個小魔術，那么混合現實乃至介導現實是則可以讓你擁有“魔法”，只不過介導現實離我們還較遠，我們目前只討論混合現實。

VR/MR與多種技術的結合

我們知道HTC Vive是一款優秀的VR設備，它可以提供大范圍位置追蹤和體感還原，有不少愛好者們已經拿到了自己的Vive，但是戴上頭盔自己悶頭玩總會讓圍觀的朋友感覺不能理解，于是大家鉆研出了使用OBS加攝像頭拍攝第三人稱視角的MR混合現實游戲視頻，使得真人影像融入到游戲世界中，看起來很酷炫，但這并不是真正的MR，只是帶有MR演示效果地合成視頻，但是這種合成視頻卻能很好地演示出人與虛擬物體進行立體交互的效果。

那么什么是真正的MR混合現實呢?真正的MR技術一定會運用到CV計算機視覺技術識別場景，譬如Slam技術，這是一種基于CV技術實時進行三維重建的技術，我們以微軟HoloLens為例，HoloLens 擁有四臺攝像頭，左右兩邊各兩臺。通過對這四臺攝像頭的實時畫面進行分析，得到一系列的深度圖，再通過算法合成重建場景，其實原理和微軟的Kinect類似，也就是說Hololens的攝像頭模組可以看作是多個Kinect體感攝像頭的組合，Kinect是通過發射和接收紅外點陣識別場景中的人和物體，所以多個Kinect的組合可以捕捉不同角度的深度圖，實時迭代，對不同深度圖進行累積，計算出精確的房間以及房間內物體的三維模型。

所以Hololens帶來的效果是讓人難分虛實，因為當精確計算和重建房間后可以將虛擬模型和三維動畫毫無痕跡地與實際場景結合起來，例如一面墻上突然開了個洞，洞里鉆出了個機器人，會把你下一大跳。

Magic Leap的宣傳片畫面

不光是國外的巨頭們在積極研究VR/MR和多種技術的結合應用，近期獲悉深圳BeanVR團隊也在他們即將上線的產品中加入了MR直播系統功能，如果能很好地應用在目前的娛樂直播行業，可以顛覆目前直播行業的運營模式，其MR直播系統應用原理是通過用不同位置攝像頭記錄畫面，再用算法合成人物的立體影像單獨摳出到虛擬場景中，實現Slam即實時掃描人物建模。此外，人工智能技術也被他們列為重點研究對象，目前也在嘗試于產品中加入一個能夠“讀懂”你的人工智能助手。那么AI是怎樣結合到VR中的呢?

　　VR與人工智能的結合

未來好的MR體驗除了必須用到Slam技術，也肯定會和AI相結合，人工智能技術即AI可以幫助我們的機器也擁有像人一樣的神經認知過程，逐漸形成一種記憶和習慣，設備會變得更智能，越來越懂你，舉一個實際的應用例子，谷歌的人工智能AlphaGo以4比1成功戰勝圍棋高手李世石，除了讓“阿法狗”名聲大噪，也讓科技界見識到了深度學習神經網絡即DNN目前已取得的驚人成果。在人工智能領域，神經網絡是一種模擬生物神經系統的模型，它更接近于人腦，能夠模擬人腦來表達對數據的高度抽象。這樣的技術也能運用到VR當中，例如手勢識別，傳統的手勢識別的算法需要人工建立一個圖像識別庫，而深度學習能夠賦予手勢識別系統類比學習能力，能夠非常有效地從大量有標簽數據中深度提取數據的特征信息，大大提高手勢識別的效率和準確率，所以跟你打交道的機器會越來越懂你。

未來當你和虛擬世界中的NPC人物交談時，會讓你感受不到它其實是由代碼組成的，而是真的感覺在和一個有思想的人交談。而且我們知道虛擬世界中人們應該不需要鼠標鍵盤這樣會被淘汰的的人機交互工具了，人工智能技術能夠很輕易的識別你的語言，把它翻譯成一個指令，幫你在虛擬世界中完成各種事情，就像電影《鋼鐵俠》中的賈維斯一樣智能。

　　VR/MR仍然會最先在社交應用上爆發

當下VR甚至MR應用的最多的還是游戲，因為包括HoloLens在內的應用市場中很大一部分都是游戲Demo，但是我們相信VR/MR一定會在社交應用中首先爆發，就像互聯網和移動互聯網社交應用的用戶基數一定是比游戲用戶基數要大，游戲并不是所有人生活的精神食糧，而且不同類型的游戲也擁有不同的受眾。但是和遠在天邊的人隨時“零距離”溝通一直是人們的愿望，除非你有社交恐懼癥，隨著科技發展，從電話到BB機到手機，從文字到圖片到視頻，人們在一點點縮小彼此溝通需要的成本，并不斷改善體驗。VR/MR技術會從沉浸感和距離感上再次顛覆人們的社交體驗，但是為了實現真正的“零距離”，科技公司和創業團隊們需要進行一場技術的軍備競賽，首先就是要從完全還原真實中的人的神態，動態到虛擬世界當中去。

以社交起家和聞名的世界性社交平臺的Facebook公司在收購Oculus似乎就是在給我們一個暗示——VR/MR一定會成為下一代社交平臺，所以花重金布局是值得的。

此前Facebook在F8大會上曝光的一段demo演示，畫面中的虛擬透明人雖然沒有表情，但是精準的手部和頭部動作追蹤以及無障礙的“面對面”語音交流讓這兩個虛擬人栩栩如生，加上兩個人不斷切換風景，用筆寫寫畫畫，最后還來了個自拍，讓人感覺這應該就會是未來的社交應用起碼該有的樣子。

盡管目前的真人捕捉和CG電影技術已經足夠震撼，《魔獸》中吳彥祖飾演的古爾丹神態和氣質兼備，但是由于沒有眼球追蹤，人物依然無法有很好的眼神，且真人演員需要穿戴巨麻煩的捕捉服裝和設備，且龐大的數據量只能記錄儲存，無法做到低延遲低成本的實時傳輸，所以目前在虛擬場景中還原出人的Avatar仍然任重道遠，且需要和深度學習這樣的技術做結合才能更快實現。

國內的BeanVR團隊緊追Facebook等巨頭的方向和腳步，他們認為VR社交應該是從能夠滿足用戶基本需求的輕型應用出發，而不是那種可以聯機的大型網絡游戲，首先是用戶之間的交互和溝通，然后是即時分享機制，傳統的是語音，打字，圖片，視頻，現在是用戶面對面分享，或是像qq空間那樣的博客產品也進化成別人來參觀你裝扮虛擬房間，里面有你的立體相冊，每一張360照片代表的是你去過的地方，任何人都可以進入其中觀看。

在BeanVR7月份做出的MR互動直播Demo的功能中，對于直播的主播方不需要傳輸很大的數據量，能給予觀眾很棒的立體視覺體驗效果，并且能廣泛運用，雖然如此，但視頻不是模型，無法做到全方位觀看。他們也會繼續深耕計算機視覺，Slam技術，下一代VR/MR交互技術以實現更好的效果。