OpenNI XnSkeletonJointOrientation 簡單分析

之前在介紹 OpenNI 的人體骨架追蹤的時候（參考《透過 OpenNI / NITE 分析人體骨架》、《使用 Qt 顯示 OpenNI 的人體骨架》），有提到：「OpenNI 的人體骨架基本上是由「關節」（joint）來構成的，而每一個關節都有位置（position）和方向（orientation）兩種資料」；而在當時，Heresy 只有針對位置的資訊（position）做解釋，對於他提供的方向（orientation）資料，Heresy 算是直接跳過的。

Heresy 自己是覺得關節的方向資訊其實意義不是很大，所以本來是不打算下去研究的，不過由於最近很多人在問這邊的東西，所以 Heresy 大概還是整理一下相關的東西吧…

首先，OpenNI 所提供的關節點資訊，有三種不同的資料型別，分別是：

其中，XnSkeletonJointTransformation 就是一個包含了 XnSkeletonJointPosition 和 XnSkeletonJointOrientation 的資料型別，也是最完整的關節點資料。

XnSkeletonJointPosition 這個資料型別內，就是一個代表可信度的浮點數 fConfidence，以及代表座標點資訊、型別為 XnVector3D 的資料，裡面就是紀錄了 x / y / z 的資訊。

而 XnSkeletonJointOrientation 裡面，除了有同樣代表可以信度的 fConfidence 外，還有一個型別是 XnMatrix3X3 的陣列 orientation，代表了這個關節點的方向性；而在官方的《OpenNI Documentation》文件裡面的說明也相當簡單，就只有：

A joint orientation is described by its actual rotation and the confidence we have in that rotation

The first column is the X orientation, where the value increases from left to right.
The second column is the Y orientation, where the value increases from bottom to top.
The third column is the Z orientation, where the value increases from near to far.

他的意思就是說，這個矩陣裡第一欄的資料是代表 X 軸的方向，值是由左到右遞增，第二欄是 Y 軸的方向，值是由下到上遞增，第三欄則是 Z 軸的方向，值由近到遠遞增。

而詳細的使用方法呢？在 NITE 所提供的官方範例「StickFigure」內，其實是有範例的。在 StickFigure.cpp 這個檔案裡的 drawOrientation() 這個函式，在做的事情，就是把關節點的方向資訊給畫出來∼它的內容如下：

void drawOrientation(XnUserID user, xn::UserGenerator userGenerator, 
                     XnSkeletonJoint joint, const XnPoint3D& corner)
{
  XnSkeletonJointOrientation orientation;
  XnSkeletonJointPosition position;
 
  userGenerator.GetSkeletonCap().GetSkeletonJointPosition(
                                               user, joint, position);
  userGenerator.GetSkeletonCap().GetSkeletonJointOrientation(
                                               user, joint, orientation);
 
  if (position.fConfidence != 1 &&
    orientation.fConfidence != 1)
  {
    return;
  }
 
  XnSkeletonJointPosition virt1, virt2;
  virt1.fConfidence = virt2.fConfidence = 1;
 
  glColor3f(1,0,0);
 
  virt1.position = position.position;
  virt2.position = xnCreatePoint3D(
    virt1.position.X 100*orientation.orientation.elements[0],
    virt1.position.Y 100*orientation.orientation.elements[3],
    virt1.position.Z 100*orientation.orientation.elements[6]);
  drawStickPoint(virt1, corner);
  drawStickPoint(virt2, corner);
 
  glColor3f(0,1,0);
 
  virt1.position = position.position;
  virt2.position = xnCreatePoint3D(
    virt1.position.X 100*orientation.orientation.elements[1],
    virt1.position.Y 100*orientation.orientation.elements[4],
    virt1.position.Z 100*orientation.orientation.elements[7]);
  drawStickPoint(virt1, corner);
  drawStickPoint(virt2, corner);
 
  glColor3f(0,0,1);
 
  virt1.position = position.position;
  virt2.position = xnCreatePoint3D(
    virt1.position.X 100*orientation.orientation.elements[2],
    virt1.position.Y 100*orientation.orientation.elements[5],
    virt1.position.Z 100*orientation.orientation.elements[8]);
  drawStickPoint(virt1, corner);
  drawStickPoint(virt2, corner);
 
}

從這個範例程式裡面，可以看的出來，XnSkeletonJointOrientation::orientation 這個型別是 XnMatrix3X3 的資料，裡面實際上可以看成這樣三個向量：

• X 軸方向：orientation.elements[0] / orientation.elements[3] / orientation.elements[6]
• Y 軸方向：orientation.elements[1] / orientation.elements[4] / orientation.elements[7]
• Z 軸方向：orientation.elements[2] / orientation.elements[5] / orientation.elements[8]

如果要把它轉換成 OpenNI 的向量的話，則可以透過 xnCreatePoint3D() 這個函示來做；比如說現在有一個 XnSkeletonJointOrientation 的變數 O1 的話，那就可以寫成：

XnVector3D X = xnCreatePoint3D( O1.orientation.elements[0], 
                                O1.orientation.elements[3], 
                                O1.orientation.elements[6] );
XnVector3D Y = xnCreatePoint3D( O1.orientation.elements[1], 
                                O1.orientation.elements[4], 
                                O1.orientation.elements[7] );
XnVector3D Z = xnCreatePoint3D( O1.orientation.elements[2], 
                                O1.orientation.elements[5], 
                                O1.orientation.elements[8] );

這樣的形式。如此一來，建立出來的 X、Y、Z，就是型別為 XnVector3D、分別代表這個關節點的 X / Y / Z 軸方向的向量了∼基本上，這三個向量應該會是兩兩互相垂直的。

而範例程式裡面所做的事，其實也就是把這三個向量、把它放大一百倍後，以不同的顏色畫在這個關節點的位置上了∼而結果，就會像是右邊的圖了；其中，紅色的線是該關節點的 X 軸、綠色的線是 Y 軸、深藍色的線則是 Z 軸。

其中要注意的是，在這個範例裡，他有去檢查該關節點的位置、以及方向的可信度；只要兩者中有一個的可信度不是 1，那就不會畫出來。而由於這個原因，再加上 NITE 演算法的關係，所以可以發現其實手（hand）和腳（foot）都是沒有關節的方向資訊的（似乎完全不會有、註 1）。

而接下來的問題，就是這些座標軸的向量，原始定義是怎麼定義的？這點在 OpenNI 或 NITE 的文件內，似乎都沒有明確的描述，不過仔細看看的話，可以發現他的座標定義，應該就是「Prime Sensor™ NITE Algorithms notes」這份文件裡的那張圖（下圖、註 3）了∼

而仔細研究的話，可以發現：以右手手肘（XN_SKEL_RIGHT_ELBOW）來說，這個關節點的 X 軸的向量，基本上就是手臂的方向；而 Y 軸的向量，則就是手臂的方向和上臂方向（註 4）的向量外積、也就是這個關節主要的旋轉軸。最後的 Z 軸呢，則就是透過 X / Y 的外積所產生，讓這三個向量互相垂直的結果。

而其他的關節點，雖然像頭部、軀幹、肩膀等關節點，其實條件都比較不一樣，但是理論上應該也都是透過類似這樣的方法來做處理的；而究竟是怎麼實作的，這就要取決於 NITE 內部的演算法了∼

至於這個關節到底旋轉了幾度呢？實際上 OpenNI 應該是沒有提供這樣的資訊的，如果有需要的話，是需要自己透過前後的關節點的位置、或是方向，來進行計算的；而一個比較直覺的作法，應該就是透過和前一個關節的方向來做比較，看看這個關節做了怎樣的旋轉吧∼（註 5）

附註：

1. 可信度（fConfidence）的型別是浮點數，理論上應該只有在其值為 0 的時候，這項資料才是沒意義的；但是 NITE 的範例裡、在這邊只要是「非 1」就跳過了。

2. 承 1，實際上在測試的時候，fConfidence 還會有 0.5 這樣的值，個人猜測是因為個關節點的資訊其實都要靠相連的關節來做判斷，所以以 0.5 來說，可能就是其中一半需要參考的關節沒有抓到的關係。不過這點只是 Heresy 自己的猜測。

3. NITE 所定義的骨架，預設是應該以 mirror（鏡射）模式來做處理的；也就是就像在照鏡子一樣，左右是顛倒的。

4. 右手手臂的方向基本上就是 XN_SKEL_RIGHT_ELBOW 到 XN_SKEL_RIGHT_HAND 構成的向量、上臂的方向則是 XN_SKEL_RIGHT_ELBOW 到 XN_SKEL_RIGHT_SHOULDER 構成的向量。

5. 求兩個向量的夾角，基本上可以利用向量內積的定義來解（求 acos），請參考維基百科。