OpenNI 的手部追蹤、外加簡單的滑鼠模擬

前一陣子有用 Qt、加上之前介紹過的東西，寫了幾個有圖形介面的 OpenNI 程式了∼不過這篇回到純粹的 Console，來講一下 OpenNI 裡面一個重要功能：手部追蹤吧∼

實際上，如果只是要追蹤手部的位置，之前介紹過的人體骨架的追蹤，其實就可以做到了；不過雖然去追蹤整個人體骨架也可以單獨抓出手部的資料來用，但是由於人體骨架的分析與追蹤需要能抓到幾乎整個人的外型才能用，所以其實相對比較不方便。

而也因此，OpenNI 裡，另外還有一個 xn::HandsGenerator 的 node，是可以搭配手勢偵測、專門用來追蹤手部的位置；透過 xn::HandsGenerator 的話，就可以不需要抓到整個人體，只針對手部進行追蹤了∼

在手部追蹤的部分，OpenNI 官方的 User Cuide 裡面，有一段「Working with Hand Point」，已經有提供了基本的使用範例，基本上 Heresy 這邊的程式，就是針對這段程式做修改而成的。

而在開始之前，先看一下標準的整個手部追蹤的流程。以官方的範例來看，要使用 Hand Generator 來進行手部的追蹤的話，是需要搭配手勢偵測的 Gesture Generator 來進行的；他的基本流程如下：

而由於 Heresy 想試著用手部追蹤的功能來實作 Windows 下的滑鼠模擬器，所以在這邊則是做了一些修改，整個程式的流程變成：

而整個程式碼，就是下面這樣子：

#include <stdlib.h>
#include <string.h>
#include <iostream>
 
#include <XnCppWrapper.h>
 
using namespace std;
 
struct SNode
{
  char*                sGestureToUse;
  char*                sGestureToPress;
  xn::DepthGenerator   mDepth;
  xn::HandsGenerator   mHand;
  xn::GestureGenerator mGesture;
  //CVMouse    mVMouse;
};

 
// callback function: Gesture Recognized
void XN_CALLBACK_TYPE GestureRecognized( xn::GestureGenerator& generator,
                                         const XnChar* strGesture,
                                         const XnPoint3D* pIDPosition,
                                         const XnPoint3D* pEndPosition,
                                         void* pCookie )
{
  SNode* pNodes = ((SNode*)pCookie);
  if( strcmp( strGesture, pNodes->sGestureToPress ) == 0 )
  {
    cout << "Left Button" << endl;
    //pNodes->mVMouse.LeftButtonClick();
  }
  else if( strcmp( strGesture, pNodes->sGestureToUse ) == 0 )
  {
    cout << "Start moving" << endl;
    generator.RemoveGesture(strGesture);
    pNodes->mHand.StartTracking( *pEndPosition );
  }
}

 
// callback function: start to track hand
void XN_CALLBACK_TYPE HandCreate( xn::HandsGenerator& generator,
                                  XnUserID nId,
                                  const XnPoint3D* pPosition,
                                  XnFloat fTime,
                                  void* pCookie )
{
  SNode* pNodes = ((SNode*)pCookie);
  cout << "New Hand: " << nId << " detected!
";
  cout << pPosition->X << "/" << pPosition->Y << "/" << pPosition->Z << endl;
  pNodes->mGesture.AddGesture( pNodes->sGestureToPress, NULL );
}

 
// callback function: hand position changed
void XN_CALLBACK_TYPE HandUpdate( xn::HandsGenerator& generator
                                  XnUserID nId,
                                  const XnPoint3D* pPosition,
                                  XnFloat fTime,
                                  void* pCookie )
{
  SNode* pNodes = ((SNode*)pCookie);
  XnPoint3D  wPos;
  pNodes->mDepth.ConvertRealWorldToProjective( 1, pPosition, &wPos );
 
  cout << wPos.X << "/" << wPos.Y << endl;
  //pNodes->mVMouse.MoveMouse( wPos.X, wPos.Y );
}

 
// callback function: the hand disappear
void XN_CALLBACK_TYPE HandDestroy( xn::HandsGenerator& generator,
                                   XnUserID nId,
                                   XnFloat fTime,
                                   void* pCookie )
{
  SNode* pNodes = ((SNode*)pCookie);
  cout << "Lost Hand: " << nId << endl;
  pNodes->mGesture.AddGesture( pNodes->sGestureToUse, NULL );
  pNodes->mGesture.RemoveGesture( pNodes->sGestureToPress );
}

 
// main function
int main( int argc, char** argv )
{
  // 1. initial context
  xn::Context mContext;
  mContext.Init();
 
  // 2a. create OpenNI nodes
  SNode mNodes;
  mNodes.mDepth.Create( mContext );
  mNodes.mGesture.Create( mContext );
  mNodes.mHand.Create( mContext );
 
  // 2b set some variable
  mNodes.mHand.SetSmoothing( 0.5f );
  mNodes.sGestureToPress = "Click";
  mNodes.sGestureToUse = "RaiseHand";
 
  // 3. set callback of gesture generator
  XnCallbackHandle hGesture;
  mNodes.mGesture.RegisterGestureCallbacks( GestureRecognized, NULL,
                                            &mNodes, hGesture );
  mNodes.mGesture.AddGesture( mNodes.sGestureToUse, NULL );
 
  // 4 set callback of hand generator
  XnCallbackHandle hHand;
  mNodes.mHand.RegisterHandCallbacks( HandCreate, HandUpdate, HandDestroy,
                                      &mNodes, hHand );
 
  // 5. start generate data, and enter main loop to update data
  mContext.StartGeneratingAll();
  while( true )
    mContext.WaitAndUpdateAll();
 
  // 7. stop and shutdown 
  mContext.StopGeneratingAll();
  mContext.Release();
 
  return 0;
}

首先，這邊的 SNode 是 Heresy 把 OpenNI 的相關 node 都包起來的一個結構，主要是為了在 callback function 可以透過他的 cookie 來傳遞所有需要的資料。其中，有一個被註解掉的 CVMouse，這是 Heresy 自己寫來傳送 Windows 滑鼠事件的類別，最後會另外再提，在這邊會先把相關的程式註解掉。

在 callback function 的部分，這邊有定義了四個函式；GestureRecognized() 是給 gesture generator 用的，而 HandCreate()、HandUpdate()、HandDestroy() 則是給 hands generator 用的。其中，gesture generator 的 callback function 介面在之前《OpenNI 的手勢偵測》時就有講過了，所以這邊就不提了。

而 hands generator 的三個 callback function，在介面上大致上相同，除了 HandDestroy 因為是已經偵測不到手的狀態、所以沒有位置資訊外，其他的參數都相同。這些參數的簡單說明如下：

而要註冊這三個 callback function，則是呼叫 xn::HandsGenerator 的 RegisterHandCallbacks() 這個函式，並依序指派這幾個自己寫的函式，也就是程式中 main() 裡面，「// 4 set callback of hand generator」的部分 ；在這邊，Heresy 是把型別為 SNode 的 mNode 當作額外的資料（cookie）傳遞進去，如此一來所有的 callback function 就都能使用 mNode 裡記錄的資料（主要是 OpenNI 的各個 node）了。

這幾個 callback function 裡面在做的事，則大致如下：

GestureRecognized()

當 Gesture Generator 偵測到手勢時會執行的函式。

在這個程式裡，Gesture Generator 同一個時間只會去偵測一個手勢：還沒有開始追蹤手部的時候，是去偵測 sGestureToUse（RaiseHand）這個手勢，當正在追蹤手部的時候則是 sGestureToPress（Click）這個手勢。

當被呼叫到的時候，如果偵測到的是 sGestureToPress 的話，就代表是要按下滑鼠左鍵，在這邊先簡單地輸出一個訊息；之後則是要真正送出 Windows Evenet，來模擬滑鼠左鍵按下的效果。

而如果是 sGestureToUse 的話，則是代表開始追蹤這個偵測到的手部的所在位置，所以除了停止偵測 sGestureToUse 外，也要執行 hands generator 的 StartTracking()、開始追蹤這個手部的位置；而要執行 StartTracking() 這邊是需要把手不目前的位置（pEndPosition）當作參數傳遞進去，讓 hands generator 知道追蹤的起始點。

HandCreate()

Hands Generator 開始追蹤手部位置時會被呼叫的函式。

這裡除了輸出一些訊息，讓使用者知道有抓到手部位置外，也透過呼叫 Gesture Generator 的 AddGesture() 函式，開始偵測 sGestureToPress（Click）這個手勢，當作滑鼠左鍵的觸發事件。

HandUpdate()

當 Hands Generator 正在追蹤的手部位置改變時、會被呼叫的函式。

由於 Windows 的滑鼠移動是 2D 的、而 Hands Generator 所追蹤的手部位置是 3D 的（真實世界座標系），所以這邊要先透過 Depth Generator 的 ConvertRealWorldToProjective() 函式，把目前手部的位置（pEndPosition）轉換成投影在螢幕平面上的位置（wPos）。

而目前在轉換後，是只有把他的座標做輸出，之後則是要再透過 CVMouse 送出 Windows 的滑鼠事件，來模擬滑鼠移動的效果。

HandDestroy()

當 Hands Generator 無法繼續追蹤手部位置時，會被呼叫的函式。

基本上，Hands Generator 會自動停止對於手部位置的追蹤，不需要做額外的處理。

不過為了停止滑鼠左鍵動作模擬，所以需要執行 Gesture Generator 的 RemoveGesture() 來停止對 sGestureToPress 這個手勢的偵測；同時為了要讓接下來還可以重新開始模擬滑鼠移動，所以也要透過 AddGesture() 來重新開始對 sGestureToUse 這個手勢的偵測。

而除了這四個 callback function 外，接下來就是主程式了∼這邊的主程式也相當簡單，基本上就是按照之前的做法，對 OpenNI 環境進行初始化；比較特別的，應該只有這次是把 OpenNI 的 node 都集中放在 SNode 這個型別的變數 mNode 裡而已。（// 2a. create OpenNI nodes）

這邊有要用到的 Node，除了 Gesture Generator 和 Hands Generator 外，還有一個 Depth Generator，他是純粹為了做手部座標系統轉換而建立的，實際上沒有其他的用途；不過由於以預設的參數執行的話，手部抓到的 X 軸應該會是勁射過的結果，所以有需要的話，這邊可能會要加上對於 depth map 的鏡射的控制。

mNodes.mDepth.GetMirrorCap().SetMirror( true );

此外，在「// 2b set some variable」的部分，除了設定了 hands generator 的平滑化之外，也針對 SNode 內的 sGestureToPress 和 sGestureToUse 這兩個手勢名稱做了設定；有需要的話，也可以自己換成別的手勢（不過由於 NITE 只有支援四個手勢，所以也沒什麼好選的）。

再接下來，就是對 Gesture generator 和 hands generator 做 callback function 的設定了∼而設定完成後，一樣是先呼叫 context 的 StartGeneratingAll()，開始整個資料流的處理，然後再透過無窮迴圈裡的 WaitAndUpdateAll() 來讓 OpenNI 更新資料、做進一步的處理了∼

而到此為止，一個簡單的手部追蹤的 OpenNI 的程式也就完成了∼只要執行起來後，在感應器前方舉起手來，他就會開始追蹤這隻手的位置，並把位置資訊輸出出來了∼而如果在追蹤的過程中做出 click（手往前推）的動作的話，也會在 console 裡輸出「Left Button」的字樣、代表要按下滑鼠左鍵。

不過由於這邊還沒有實作 CVMouse 這個送出 Windows 滑鼠事件的類別，所以實際上這些動作目前還不會有實際的效果。而接下來，Heresy 則大概提一下怎麼實作前面被註解掉的 CVMouse，然後進行滑鼠的模擬。

CVMouse 這個 class 的內容基本上如下：

class CVMouse
{
public:
  unsigned int  uX1;
  unsigned int  uX2;
  unsigned int  uY1;
  unsigned int  uY2;
 
  CVMouse()
  {
    uX1 = 20;
    uX2 = 620;
    uY1 = 20;
    uY2 = 460;
  }
 
  void MoveMouse( float X, float Y ) const
  {
    unsigned int wX = ( X - uX1 ) * 65535 / ( uX2 - uX1 ),
                 wY = ( Y - uY1 ) * 65535 / ( uY2 - uY1 );
 
    mouse_event( MOUSEEVENTF_ABSOLUTE|MOUSEEVENTF_MOVE, wX, wY, NULL, NULL );
  }
 
  void LeftButtonClick() const
  {
    mouse_event( MOUSEEVENTF_LEFTDOWN|MOUSEEVENTF_LEFTUP, 0, 0, NULL, NULL );
  }
};

在 Windows 環境下，要用 C 程式中送出滑鼠的事件，基本上是要呼叫 Windows 提供的 mouse_event() 這個函式；要使用它需要 include windows.h 裡這個 header 檔，並且在專案要設定連結 user32.lib 這個 lib 檔。而這個函式的詳細說明，可以參考 MSDN 上的介紹（網頁），Heresy 這邊只簡單地提一下有用到的部分。

首先，他第一個參數是定義好的滑鼠事件，像 Heresy 這邊用的是 MOUSEEVENTF_ABSOLUTE、MOUSEEVENTF_MOVE、MOUSEEVENTF_LEFTDOWN 和 MOUSEEVENTF_LEFTUP 這四個；而這些事件都是可以同時觸發的，只要加上 bitwise 的 or（|）就可以了。

像在移動滑鼠用的 MoveMouse() 裡，Heresy 所送出的就是 MOUSEEVENTF_ABSOLUTE|MOUSEEVENTF_MOVE 這個事件，他是代表要把滑鼠游標移動到絕對座標上的某個位置；而如果沒有指定 MOUSEEVENTF_ABSOLUTE、只有 MOUSEEVENTF_MOVE 的話，則是代表是以相對於現在的游標位置來做移動。

而接下來的兩個參數，就是滑鼠的 (X, Y) 的座標了∼不過這邊 Windows 是要使用 normalize 過的值來當作座標的值：基本上它所需要的 X / Y 的值是無視螢幕的解析度設定、範圍是 0 – 65535 的值；以 X 軸來說，0 就是代表螢幕的最左邊、65535 則是螢幕的最右方。所以在這邊，拿到的 X / Y 座標還需要重新對應到 0 – 65535 之間才行。

Heresy 這邊則是透過記錄在 CVMouse 裡的 uX1、uX2、uY1、uY2 這四個變數，來當作滑鼠手部位置的移動範圍；基本上，（uX1,uY1）是畫面的左上方、（uX2,uY2）則是畫面的右下方。Heresy 是假設畫面的大小是 640 x480，而上下左右各留 20 個像素的空間當作邊緣，所以就變成是程式碼內的數字了。之後，則是在透過程式內的計算公式換算，把傳入的 X / Y 座標，都對應到 0 – 65535 之間當作參數傳入就可以了∼

而 mouse_event() 最後的兩個參數在基本操作上比較用不到，所以在這邊就只傳 NULL 進去、也跳過不說明了。而在滑鼠事件的部分方面，當然也還有其他像是右鍵、中鍵、滾輪等的事件，不過在這邊也不多提了。

接下來在 MouseLeftClick() 的部分，則是同時送出 MOUSEEVENTF_LEFTDOWN 和 MOUSEEVENTF_LEFTUP 兩個事件，來達到點集滑鼠左鍵的效果。

當把 CVMouse 這個 class 加到前面的程式碼裡，然後把之前相關的註解取消後，基本上就完成了一個極簡單的 OpenNI 滑鼠模擬器了∼只要把手抬起來，讓 OpenNI 開始追蹤手的位置後，滑鼠就會隨著手的移動而動；而只要把手往前推、觸發到 NITE 的 Click 手勢，就會等同按下滑鼠的左鍵了∼

這篇文章的程式到這邊，就算告一個段落了。而雖然這的確算是完成了一個極簡單的手部追蹤滑鼠模擬器（虛擬滑鼠），但是如果真的使用，可以發現它有幾個明顯的問題。

而基本上，這就是目前這個使用 OpenNI 手部追蹤實作出來、不太實用的虛擬滑鼠了∼之後有空，應該會試著自己想辦法改方法來判斷滑鼠左鍵的觸發條件吧∼至於右鍵和滾輪？再說吧 XD