Blog

OpenNI 搭配 NITE 雖然提供了全身的骨架追蹤功能，但是他並沒有提供針對手部的細部處理，緊緊有提供手部的位置追蹤、以及幾組預設的手勢辨識的能力（參考）。而由於手部動作的分析、尤其是去抓出手指、或是判斷手是否握著，在互動操作上也是相當實用的功能，所以實際上也有不少人在往這方面做研究～

像下面這段影片，就是透過 model-based 的 3D 物件追蹤，來時做出來的手指追蹤，看起來效果算是相當地好！

這個研究的官方網頁是：http://cvrlcode.ics.forth.gr/handtracking/，在上面除了有相當多的影片可以參考系統運作的狀況外；一隻手有 26 個自由度（dergee of freedom）、不需要任何特殊的標誌或手套，也不需要 NITE 提供的追蹤功能。而為了計算效能，需要有支援 nVIDIA CUDA 的顯示卡來做計算；在 Intel Core i7 950 搭配 GeForce GTX 580 的情況下，處理的效能大約可以到達 20FPS。

而雖然沒有提供原始碼，不過也有提供 64 位元版本的展示程式，可以讓使用者下載測試。但是很遺憾的是，Heresy 下載後沒辦法正確執行就是了（錯誤似乎是在 CUDA 程式的部分）。

上面的方法，基本上算是去完整地去找出整個手的架構、進行手指的辨識以及追蹤，算是難度比較高的方法。而相較之下，雖然沒有那麼完整，但是還有一些比較簡易的方法，也可以做到一定程度的效果；像是在網路上，其實就可以找到不少人，把 OpenCV 拿來搭配 OpenNI 的深度資料（參考），進行簡單的手部的處理～像下面這兩段影片，都是類似的概念：

第一段影片是由 Robert Walter 這位網友所提供的，他在說明的地方，有提供 DropBox 的下載連結（ZIP 檔），可以下載原始碼來做測試；而後者則是由 Brandt Westing 這位網友提供的，他有將程式放在 github 上（連結），讓大家可以下載～

不過，Heresy 自己測試的時候，Robert Walter 的程式碼要能正確地在 Visual C 編譯、執行，是需要適度地修改的；而 Brandt Westing 的範例，則是不知道為什麼，可以在 Kinect for Xbox 360 上使用，而不能在 ASUS Xtion Pro Live 上執行…不過基本上，只要可以跑起來，都算可以做簡單的測試的～

實際上，這兩位所提供的範例，都是類似的作法。他們的處理流程，基本上都是：

大致上大概就是這樣了～詳細的實作方法，可以直接參考這兩位所提供的原始碼。

Heresy 自己也有寫類似的程式，不過還沒弄完；等寫好了，再拿來分享吧～現在是希望能不能在更進一步，去分析各隻手指的位置，進而做到更細的控制；不過，還不確定能做到什麼程度就是了。