HoloLens 2 的系統操作

基本上，他不支援 Windows 主流的 x86/64 應用程式，僅支援 Microsoft Store 上的 UWP 程式，這點讓他的使用彈性相對很低。

再加上 HoloLens 系列的高單價、而且定位就不是消費級的產品，所以其實能拿來玩的 App 其實不算多。

另外，雖然目前一般版本的 Windows 10 在 20H2 已經提供了 Chromium Edge 做為新的網頁瀏覽器，但是在 HoloLens 2 上，還是只有舊版的 Edge，所以導致連 WebXR 都沒有很完善地原生支援…這點其實算是讓人有點感冒的。

以目前來說，要在 HoloLens 2 裡面瀏覽 WebXR 的內容，應該還是得依賴 Firefox Reality 這個特化的網頁瀏覽器（Microsoft Store）；但是在個人來看，這個瀏覽器的 HoloLens 2 版本還不算很好用啊…

在操作上，它的操作系統大致上和 Windows Mixed Reality 相同，如果有用過 Windows MR 的話，應該會覺得他的介面相當地熟系。

主要不同的地方，主要是 Windows MR 的裝置（例如 Acer AH100）的互動輸入是靠兩手的控制器；而 HoloLens 2 則是會透過攝影機去追蹤雙手的動作，用手勢來做操作了。（官方文件）

在 HoloLens 2 中，只要把手掌面對自己，在手腕處就會出現 Windows 的 logo，然後用另一隻手的手指去點他、就可以開啟 HoloLens 系統的主要選單（類似 Windows 的開始）。

如果是單手的話，也可以在 Windows 圖示出現後，讓拇指和食指靠緊，擺出類似 OK 的手勢，也是可以開關開始功能表的。

他的介面基本上和 Windows MR 內是一樣的，只不過由於沒有控制器，所以就只能用手指去點了。（話說，個人有試過用藍芽連上 Windows MR 的控制器，但是沒辦法用）

而如果是要「握住」虛擬的物體的話，則是可以用食指和拇指捏住，然後可以拖動了。
不過個人目前是還不習慣他的判定，常常抓不到它的結束時間，結果變成拖拉過頭…

除了直接用手指去「碰」介面上的按鈕外，還有針對遠距離的物體的「空中點選」（Air tap）的模式。

這個模式就是把手舉起來，透過手延伸的射線（視野中會出現白色虛線）來選擇要控制的東西，然後把食指和拇指合攏再分開，這樣就可以完成點選了。

不過個人是覺得這種操作模式很容易讓手指向的方向晃動，所以其實很難點到小的東西就是了。

在使用 HoloLens 2 時，如果想要取得使用者看到的畫面，目前看來有兩種方法；一個是使用內建的錄影功能，另一個則是透過內建的 Miracast 投影功能，把畫面丟到其他裝置來顯示、處理。

這兩種功能，基本上都是透過 HoloLens 2 本身正上方的主鏡頭來取得實際的場景畫面、然後再疊合 HoloLens 2 產生的虛擬物體、產生最後的畫面。

不過，由於主攝影機的視角、視野基本上還是和人眼不同，所以所呈現的畫面和真正人眼看到的畫面，還是有相當地差異；基本上，就是視野會比較小，感覺也再偏高一點。

而疊合的虛擬物體呢，由於是直接把 3D 繪製的結果畫出來，所以不會受到顯示的光學性質的影響，畫面相對很乾淨、漂亮；實際上肉眼看到的，其實是差了一截的。

所以，如果要能即時讓其他人知道使用者看到什麼東西的話，比較好的方案就是透過 Miracast 來把畫面即時傳出來了～

Heresy 本來是想投影到一般的 Miracast 接收器（Actiontec ScreenBeam）、再接上 HDMI 擷取裝置（AVerMedia Live Gamer Portable 2 Plus）來錄操作的畫面的，但是似乎是採到 HDCP 的限制，所以一直沒辦法成功。

所以後來呢，Heresy 這邊的做法則是把畫面投影到其他 Windows 10 的電腦上（參考），然後再把投影的畫面錄下來。接下來的影片，基本上都是這樣來的。

下面就是一段實際操作的影片：

這邊算是滿雜的一段影片。在一開始可以看到空間中有實際存在的物體，也有虛擬的物體（那張沙發）。

然後就是操作系統選單，並使用內建的「3D 檢視器」，拉了一隻踩腳踏車的變色龍到空間裡，讓他開始動。這部分基本上算是微軟提供的範例，有不少可以使用的動態、靜態模型，之後會再比較仔細地講這個應用程式。

再來，在 Windows 的設定選單中可以看到，雖然他基本上是 WIndows 10 風格的設定頁面，但是選項和一般的 Windows 10 相比少了不少；例如，這邊就沒有「應用程式」的選項可以控制。

在網頁瀏覽器的部分，基本上只有舊版的 Edge 可以使用；礙於 HoloLens 2 本身的 FoV，他能呈現的內容其實相對有限…

輸入法的部分，則是使用虛擬的觸控鍵盤，打字上和實體鍵盤有相當地落差、只能用兩指神功來輸入，不算很好用。

再來，則是走到房間外；可以看到，HoloLens 2 的定位其實算是相當地好，沒有限制只能在單一房間使用，出了門後還是可以定位到！不過，在某些狀態下，也會發現可以看到牆後面的虛擬物體的狀態就是了。

最後，HoloLens 2 上的攝影機基本上應該也會持續偵測拍到的內容，像是如果視野中有「夠大」的 QR Code 的話，他就會去識別其內容，並顯示一個綠色的框（看更久似乎會變成撥放的按鈕）、讓使用者可以點選。

不過，相較於 Google 的智慧鏡頭，HoloLens 2 的相機辨識的內容感覺就很弱了…目前測試，似乎只能認出 QR Code，而且太小的話（但是肉眼是覺得夠清楚了）還不能識別。

前面有提到 HoloLens 2 內建的「3D 檢視器」，這個 App 在 Heresy 來看，應該算是 HoloLens 2 入手後初期，最好拿來玩的內建程式了。

他提供了許多靜態、動態的 3D 模型，讓使用者可以放在空間中。以家具來說，其實就可以當作虛擬的擺設來用了～他可以調整大小、位置，讓使用者放到自己想要的位置，感覺還算滿有趣的；不過在旋轉上，似乎是有選轉軸的限制（只能垂直地面旋轉），這點有點討厭。

下面就是一段測試影片：

而影片的後段，Heresy 則是在測試當虛擬物體被實際的物體遮蔽時的狀況。

基本上，HoloLens 2 會動態地去重建、更新整個世界的 3D 輪廓（基本上應該是 Kinect Fusion 的技術？）；所以在一定的程度上，他會去處理虛實物體的遮蔽問題。

但是由於這類的 3D 重建技術，在現階段來說多邊形的處理基本上還是不會太漂亮、準確，所以在很多場合，還是會看到一定程度的誤差。

像在下面兩張圖來說，是 Heresy 走道白板後面的畫面；可以看到，虛擬的桌子基本上是有被白板擋住，但是像是白板的下緣、或是白板和框的中間理論上是要可以看到桌子的，可是卻還是被裁切掉了。

這基本上就是因為 HoloLens 2 對於環境的 3D 輪廓重建還沒辦法這麼完美的關係。

至於場景中的動態物件呢？這部分就需要一點點的時間，讓 HoloLens 2 去更新場景的資訊了。

在影片中，如果剛把一張實體的椅子推到會遮住虛擬桌子的位置的時候，在一開始的遮蔽處理會是錯的，可以看到會出現桌子蓋在椅子上這種不合理的畫面（下左圖）；在過一段時間、等到 HoloLens 2 更新完成場景後，就會有相對正確的遮蔽效果了。

而當把實體的椅子移走的時候，也是會有類似的狀況；可以看到上方右圖，虛擬的桌子會被切出一個椅子本來的輪廓，看起來也很詭異。

理論上，HoloLens 要處理這類的場景變動，大多不會花太多的時間，但是中間的間隔都還是感覺的到的；此外，根據實際物體材質、外型等等因素，有的時候也會出現永遠沒辦法更新到理想的狀態的狀況。這點基本上應該也都是現行技術的限制了。

最後，這部分感覺比較可惜的是，操作者的手似乎不會被 HoloLens 2 視為需要處理遮蔽的實際物體；所以 Heresy 在操作的時候，不管怎樣手都會被虛擬的物體蓋過去…

在操作鍵盤、圖形介面的時候，這種沒有處理遮蔽效果的視覺效過，個人是覺得差了一點啦。不過，個人猜測這或許是為了效能上的妥協吧？

如果是執行 Microsoft Store 上的程式是怎樣的狀況呢？這邊就以微軟自己的「Galaxy Explorer」（連結）來舉例。

下面就是執行時候的影片：

在執行 App 的時候，大多會先在空間中出現一個視窗、或是一個立體模型，需要再點一次，才會進入 App 的虛擬空間。而在進入時，也會出現許多藍色的三角形，做為示意。

之後的操作方式，則就看 App 本身怎麼寫的了。由於沒有鍵盤滑鼠可以用，所以在操作上，其實有的時候可能還滿難猜的；Heresy 也碰過那種要用語音來控制的…

而要結束 App，目前 Heresy 也只知道可以透過開始選單的「首頁」鈕；按下去之後，他會「掃過」一次空間的 3D 輪廓，代表回到 HoloLens 2 的主空間。