使用 Qt GraphicsView 顯示 OpenNI 影像資料

/* Class for control OpenNI device */
class COpenNI
{
public:
  /* Destructor */
  ~COpenNI()
  {
    m_Context.Release();
  }
 
  /* Initial OpenNI context and create nodes. */
  bool Initial()
  {
    // Initial OpenNI Context
    m_eResult = m_Context.Init();
    if( CheckError( "Context Initial failed" ) )
      return false;
 
    // create image node
    m_eResult = m_Image.Create( m_Context );
    if( CheckError( "Create Image Generator Error" ) )
      return false;
 
    // create depth node
    m_eResult = m_Depth.Create( m_Context );
    if( CheckError( "Create Depth Generator Error" ) )
      return false;
 
    // set nodes
    m_eResult = m_Depth.GetAlternativeViewPointCap().SetViewPoint( m_Image );
    CheckError( "Can't set the alternative view point on depth generator" );
 
    return true;
  }
 
  /* Start to get the data from device */
  bool Start()
  {
    m_eResult = m_Context.StartGeneratingAll();
    return !CheckError( "Start Generating" );
  }
 
  /* Update / Get new data */
  bool UpdateData()
  {
    // update
    m_eResult = m_Context.WaitNoneUpdateAll();
    if( CheckError( "Update Data" ) )
      return false;
 
    // get new data
    m_Depth.GetMetaData( m_DepthMD );
    m_Image.GetMetaData( m_ImageMD );
 
    return true;
  }
 
public:
  xn::DepthMetaData  m_DepthMD;
  xn::ImageMetaData  m_ImageMD;
 
private:
  /* Check return status m_eResult.
   * return false if the value is XN_STATUS_OK, true for error */
  bool CheckError( const char* sError )
  {
    if( m_eResult != XN_STATUS_OK )
    {
      cerr << sError << ": " << xnGetStatusString( m_eResult ) << endl;
      return true;
    }
    return false;
  }
 
private:
  XnStatus           m_eResult;
  xn::Context        m_Context;
  xn::DepthGenerator m_Depth;
  xn::ImageGenerator m_Image;
};

而為了要在 Qt 的環境裡，能自動更新、讀取 OpenNI 的資料，所以要用到 QObject 的 startTimer()（參考）。Heresy 這邊的作法，是依照官方的範例，繼承已有的 QObject、並透過重新實作 timerEvent() 來完成的；而這個類別 Heresy 把他取名為 CKinectReader。

/* Timer to update image in scene from OpenNI */
class CKinectReader: public QObject
{
public:
  /* Constructor */
  CKinectReader( COpenNI& rOpenNI, QGraphicsScene& rScene )
    : m_OpenNI( rOpenNI ), m_Scene( rScene )
  {}
 
  /* Destructor */
  ~CKinectReader()
  {
    m_Scene.removeItem( m_pItemImage );
    m_Scene.removeItem( m_pItemDepth );
    delete [] m_pDepthARGB;
  }
 
  /* Start to update Qt Scene from OpenNI device */
  bool Start( int iInterval = 33 )
  {
    m_OpenNI.Start();
 
    // add an empty Image to scene
    m_pItemImage = m_Scene.addPixmap( QPixmap() );
    m_pItemImage->setZValue( 1 );
 
    // add an empty Depth to scene
    m_pItemDepth = m_Scene.addPixmap( QPixmap() );
    m_pItemDepth->setZValue( 2 );
 
    // update first to get the depth map size
    m_OpenNI.UpdateData();
    m_pDepthARGB
       = new uchar[4*m_OpenNI.m_DepthMD.XRes()*m_OpenNI.m_DepthMD.YRes()];
 
    startTimer( iInterval );
    return true;
  }
 
private:
  COpenNI&             m_OpenNI;
  QGraphicsScene&      m_Scene;
  QGraphicsPixmapItem* m_pItemDepth;
  QGraphicsPixmapItem* m_pItemImage;
  uchar*               m_pDepthARGB;
 
private:
  void timerEvent( QTimerEvent *event )
  {
    // Read OpenNI data
    m_OpenNI.UpdateData();
 
    // convert to RGBA format
    const XnDepthPixel*  pDepth = m_OpenNI.m_DepthMD.Data();
    unsigned int iSize=m_OpenNI.m_DepthMD.XRes()*m_OpenNI.m_DepthMD.YRes();
 
    // fin the max value
    XnDepthPixel tMax = *pDepth;
    for( unsigned int i = 1; i < iSize;    i )
    {
      if( pDepth[i] > tMax )
        tMax = pDepth[i];
    }
 
    // redistribute data to 0-255
    int idx = 0;
    for( unsigned int i = 1; i < iSize;    i )
    {
      if( (*pDepth) != 0 )
      {
        m_pDepthARGB[ idx   ] = 0;
        m_pDepthARGB[ idx   ] = 255 * ( tMax - *pDepth ) / tMax;
        m_pDepthARGB[ idx   ] = 255 * *pDepth / tMax;
        m_pDepthARGB[ idx   ] = 255 * ( tMax - *pDepth ) / tMax;
      }
      else
      {
        m_pDepthARGB[ idx   ] = 0;
        m_pDepthARGB[ idx   ] = 0;
        m_pDepthARGB[ idx   ] = 0;
        m_pDepthARGB[ idx   ] = 0;
      }
        pDepth;
    }
    
    // Update Depth data
    m_pItemDepth->setPixmap( QPixmap::fromImage(
      QImage( m_pDepthARGB,
              m_OpenNI.m_DepthMD.XRes(), m_OpenNI.m_DepthMD.YRes(),
              QImage::Format_ARGB32 ) )
    );
 
    // Update Image data
    m_pItemImage->setPixmap( QPixmap::fromImage(
      QImage( m_OpenNI.m_ImageMD.Data(),
              m_OpenNI.m_ImageMD.XRes(), m_OpenNI.m_ImageMD.YRes(),
              QImage::Format_RGB888 ) )
    );
  }
};

CKinectReader 主要的介面，只有建構子和 Start() 兩個，其他的東西都是內部使用的。而他所做的事，基本上就是透過 Start() 這個函式、啟動 Qt 的 Timer，每隔一段固定的時間，就去把 COpenNI 的資料（m_DepthMD 和 m_ImageMD）讀取出來，轉換成 Qt Graphics Scene 裡的物件。

而也由於要針對 COpenNI 和 Scene 做操作，所以在建構子的地方，要把這兩個物件的參考傳進來；之後呼叫 Start() 的時候，則是可以指定 timer 的時間間隔，看多久要去更新一次。

其中，Start() 這個函式裡，除了會去呼叫 COpenNI 的 Start()、讓 OpenNI 的環境開始運作外，也會先在 Qt Scene 裡，建立好必要的 Graphics Item；在這個例子裡，就是對應 depth map 和 image map 的影像物件、 QGraphicsPixmapItem（參考）了∼而這邊 Heresy 是先用空的 QPixmap 來產生 QGraphicsPixmapItem（m_pItemDepth、m_pItemImage），並設定他的 Z Value；Heresy 這邊是強制讓 m_pItemDepth 在 m_pItemImage 的上面，以方便之後做 alpha blending。

此外，這裡也先預先配置好一個 unsigned char 的陣列 m_pDepthARGB， 用來儲存之後將 Depth Map 的內容作轉換後的資料；而由於之後是要把 depath map 轉換成 RGBA 四個 channel 的圖，所以這邊預先配置的大小就是 X * Y * 4。

最後，就是透過 QObject 提供的 startTimer() 來開啟 timer 了∼而當指定的時間到了後，Qt 就會觸發 timer event、執行自己定義的 timerEvent() 這個函式。

而在 timerEvent() 裡，首先是先去呼叫 COpenNI 的 UpdateData()，更新資料。接下來，由於 Depth Map 的格式不是一般電腦影像常用的 8bit 資料，所以要直接畫出來的話，要經過一些轉換才行；Heresy 這邊的做法，是動態地去找到目前 depth map 中的最大值，然後再把整張 depth map 裡有值的部分，填入根據特定公式的算出的色彩，而沒有深度值的部分，則是將 RGBA 都填 0。

這邊計算的公式，基本上如下：

m_pDepthARGB[ idx   ] = 0;                                  // Blue
m_pDepthARGB[ idx   ] = 255 * ( tMax - *pDepth ) / tMax;    // Green
m_pDepthARGB[ idx   ] = 255 * *pDepth / tMax;               // Red
m_pDepthARGB[ idx   ] = 255 * ( tMax - *pDepth ) / tMax;    // Alpha

這樣的式子，會讓近的部分是綠色、遠的部分是紅色，而越近透明度會越低；基本上，只是一個範例，所以也算是隨便寫的計算式∼有需要的話，也可以換成更有意義或各符合需求的計算方法。

而在資料都準備完成後，接下來就是透過 QGraphicsPixmapItem 的 setPixmap() 函式，來把要顯示的新的圖傳進去了∼由於 Heresy 不知道到底要怎麼用現有的資料建立 QPixmap，所以這邊 Heresy 都是先建立 QImage（參考）後，再透過 QPixmap::fromImage() 轉成 QPixmap 的格式、拿來給 QGraphicsPixmapItem 使用。

最後，是主程式的部分。下方就是主程式的程式碼，而右圖則是最後執行的結果。

/* Main function */
int main( int argc, char** argv )
{
  // initial OpenNI
  COpenNI  mOpenNI;
  bool bStatus = true;
  if( !mOpenNI.Initial() )
    return 1;
 
  // Qt Application
  QApplication App( argc, argv );
  QGraphicsScene  qScene;
 
  // Qt View
  QGraphicsView qView( &qScene );
  qView.resize( 650, 540 );
  qView.show();
 
  // Timer to update image
  CKinectReader KReader( mOpenNI, qScene );
 
  // start!
  KReader.Start();
  return App.exec();
}

首先，這邊先宣告出一個 COpenNI 的實體 mOpenNI，並呼叫他的 Initial() 進行初始化、建立出 OpenNI 環境所需要的東西。

再來，則是最基本的 QtGraphics View 的寫法、比較詳細的說明請參考《Qt Graphics View Framework 簡介》。這邊除了 Qt 程式必須有的 QApplication 外，也宣告出 QGraphicsScene 和 QGraphicsView 的物件。

而接下來，就是宣告出自己定義的 CKinectReader、把 mOpenNI 和 qScene 傳進去，並呼叫 Start()、同時開始 QApplaction 的主迴圈、讓 Qt 程式執行起來、並進行持續地更新。