修改 User Generator 用來分析的深度影像

在之前的一系列文章裡,其實 Heresy 自己是覺得應該已經把大部分、在寫 OpenNI 應用程式的基礎部分都講完了(聲音除外),其他的東西,在 Heresy 來看都是比較偏應用、或是偏進階的東西;雖然其實現在有些部分會想改版重寫,像是現在會想把早期的範例改成用 Map metadta 當範例這類的,不過暫時應該還不會真的下去做這件事。

而這篇的內容,基本上也算是一個特殊的進階使用,那就是:

要怎麼修改深度資料、讓 User Generator 來分析?

對於這個問題,Heresy 最初的想法,是自己去寫一個新的 Depth Generator,在裡面去讀取原始的 Depth Generator 後、做完修改再來讓 User Generator 來用。這個方法理論上應該也是可以的,但是實際上真的要自己寫一個 OpenNI 的 production node 其實還是滿麻煩的…

而後來,想到的方法,就是在撥放 ONI 檔時、拿來操作的虛擬 Production node、也就是「Mock Node」來用了!

OpenNI 的 Mock Node 基本上是一種沒有真正對應到資料來源的虛擬原始資料的 Production node,包括了下面四種:

  • xn::MockDepthGenerator
  • xn::MockImageGenerator
  • xn::MockIRGenerator
  • xn::MockAudioGenerator

基本上,就是對應到 OpenNI 裡面,對應到硬體、去讀取原始資料的四種 generator 了~而這四種 Mock Node 基本上都是繼承自本來的 Generator,所以可以和本來的 generator 做一樣的操作。不過,由於他們本身不會去讀取硬體的資料,所以必須要靠程式透過 SetData() 來把資料餵進去,然後再給 OpenNI 的其他模組使用。

而在 OpenNI 官方的「NiRecordSynthetic」這個範例裡,就有用到 xn::MockDepthGenerator 了~有興趣的話,可以參考看看官方範例的寫法;而這邊,Heresy 基本上也是以 xn::MockDepthGenerator 為例子來做說明了。


初始化

在建立的部分,基本概念就是:

// OpenNI Context
xn::Context xContext;
xContext.Init();

// Depth generator
xn::DepthGenerator xDepthGen;
xDepthGen.Create( xContext );

// mock depth generator
xn::MockDepthGenerator xMockDepth;
xMockDepth.CreateBasedOn( xDepthGen, "MockDepth" );

// create user generator using mock depth generator
xn::Query xQuery;
xQuery.AddNeededNode( "MockDepth" );
xn::UserGenerator xUser;
xUser.Create( xContext, &xQuery );

在上面的程式碼裡,首先還是先建立 OpenNI 的 context xContext、並對他進行初始化。接下來,用一般的方法,建立一個 depth generator xDepthGen,用來讀取感應器的資料。

再來,則是建立一個 xn::MockDepthGenerator xMockDepth,用來當作虛擬的 depth generator;這邊是使用 CreateBasedOn() 這個函示來做建立的動作,如此可以把 xDepthGen 的基本資訊直接拿來給 xMockDepth 用。而第二個參數「"MockDepth"」則是一個字串,用來指定建立出來的 node 的名稱。

而在建立 user generator 的時候,則就需要透過 xn::Query 來做限制,來要求 OpenNI 去建立一個使用 xMockDepth 的資料的 user generator 了~而這邊限制條件的方法,基本上就是先建立一個 xn::Query 的物件 xQuery,然後透過他的 AddNeededNode() 這個函式來做條件的指定;而指定的條件,這邊就是給他 xMockDepth 的名稱,也就是 "MockDepth" 了~

在設定好 xQuery 後,只要在 user generator 建立的時候,把他的位址當作 Create() 的第二個參數傳進去,這樣 OpenNI 就會建立一個使用 xMockDepth 的 User generator 出來了~


資料更新

初始化完成後,接下來的設定基本上都和本來的用法一樣了~不一樣的地方,在於每次在主迴圈內、進行資料更新的時候,會需要做特殊的處理。

首先,本來在主迴圈裡面、每次都需要呼叫 Context 的 WaitAndUpdateAll() 這個函式,來要求 OpenNI Context 針對所有的 Node 進行更新、直到都更新好了再繼續執行;但是現在由於 mock node 本身不會自己產生資料,所以如果使用 WaitAndUpdateAll(),會因為等不到 xMockDepth 的更新,而讓程式卡住(不會完全不動,只是更新很慢)。所以,這邊要修改一下,變成呼叫 WaitOneUpdateAll(),然後把 xDepthGen 傳進去,讓他等到 depth generator 的資料準備好了,就繼續執行。

而等到 xDepthGen 取得新的深度資料之後呢,就要手動把新的 depth map 讀取出來、經過修改(看自己要怎麼改)、透過 xn::MockDepthGeneratorSetData() 這個函式,把修改後的結果餵給 xMockDepth 了~如此一來,之後 user generator 就會使用這個被修改過的資料,拿來做分析了~

實際上寫的話,大概就會像下面這樣:

// update data
xContext.WaitOneUpdateAll( xDepthGen );

// get original depth map
xn::DepthMetaData xDepthData;
xDepthGen.GetMetaData( xDepthData );

// make data writable and modify
xDepthData.MakeDataWritable();
// modify data....

// set data
xMockDepth.SetData( xDepthData );

這邊基本上就是在 xDepthGen 的資料更新後,透過 GetMetaData() 把讀取到的資料(xDepthData)拿出來,然後透過 xn::DepthMetaDataMakeDataWritable() 這個函式,在內部建立一份額外的記憶體空間,讓資料可以被修改(本來是唯獨的)

而之後,就可以針對 xDepthData 進行修改了~看是要套用什麼影像處理的演算法,就是看各自的需求了。修改資料時,還需要先取出可寫入的資料,最簡單的方法應該就是使用 WritableDepthMap() 這個函式,下面就是一個把所想像素都填 0 的範例:

xn::DepthMap& rDepthMap = xDepthData.WritableDepthMap();
for( unsigned int y = 0; y < rDepthMap.YRes(); y )
for( unsigned int x = 0; x < rDepthMap.XRes(); x )
rDepthMap(  x, y ) = 0;

而如果需要的話,也可以直接透過 WritableData() 這個函式,來取得 XnDepthPixel 的指標,對整個陣列進行修改。

當修改完成後,只要透過 SetData() 這個函式,就可以把修改過的 xDepthData 送給 xMockDepth;而當資料送給 xMockDepth 後,對應的 user generator、也就是之前建立的 xUser 就會得到有新資料的通知,並且向 xMockDepth 來要這筆修改過的深度資料、並進行分析了~


這篇大概就先寫道這了。基本上,只是著重於概念上的說明,實際上要應用,主要還是看是要做什麼處理了;基本上,Heresy 想到比較可能會需要的,應該會是以影像處理或電腦視覺的 denoise、也就是減少深度的雜訊為主吧~另外,有需要的話,應該也是有可能輔以彩色的資料,來把深度感應器上的洞、閃爍的效果降低,這樣或許可以加強後續分析的穩定性。

不過,由於 OpenNI 互動程式基本上都是互動式的,如果在這部分影像處理花了太多的 CPU 計算能力,有可能會產生效能上的問題…這時候,勢必會需要靠 OpenMP 這類的平行化方法來針對多核心處理器做最佳化,甚至是採用 nVIDIA CUDAOpenCL 這類的 GPGPU 技術,把計算丟到顯示卡去了~這點就是要自己斟酌的了。

32 thoughts on “修改 User Generator 用來分析的深度影像”

  1. 请问,视角矫正是等同于标定之后的效果吗?还有kinect本身存在了内参数信息吗?

  2. to liuyuan
    抱歉,看不懂你是在問什麼?
    你的「标定之后的效果」和「内参数信息」是指什麼?

  3. 您好!
    我有个比较低级的问题,您之前编写的这么多的程序中用到了很多函数,您是怎么知道它们的输出的,比如定义:SceneMetaData smd;在哪里可以看到smd(x,y)是用来做标识的?

  4. 我的意思就是说想要去做应用,我该参考哪些材料,感觉对openni中有很多的函式的输出还不清楚更不知道去用!希望heresy能够指点迷津。

  5. to 自溟

    安裝完 OpenNI SDK 後,他會有提供一份 API Reference,主要就是參考這份文件。

  6. 谢谢您的回答!
    我仔细找了一下,您指的是“C:\。。OpenNIDocumentation”中的OpenNI.chm吗?
    还是指的别的文件夹里面的?

  7. 另外是不是C:Program FilesOpenNISamples中提供的例程?我主要感觉到的是Samples中例子还是有点少,看到heresy写了这么多好例程,想必该有些相对全面的材料。。。
    期待您的回答!
    谢谢!

  8. 是的,主要就是這份文件。

    實際上,OpenNI 官方範例裡面已經幾乎涵蓋到所有的基本使用狀況了;雖然在文件的部分,有的地方可能會有一些不容易理解的地方,但是基本上只要再去做一些測試,應該也是夠用了。
    而 Heresy 這邊的文件或城市,也都是根據他的文件、以及範例來做延伸、修改的,應該沒有不足的問題。

  9. heresy,您好,新手,想问一个可能太傻的问题,就是用openni得到的深度数据16位的,这16位存的都是深度吗,像kinect sdk得到的深度数据低三位是游戏者索引。期待您的回答,谢谢!

  10. 在這邊有辦法經由WritableDepthMap()來限定只有某個範圍的深度資料嗎?
    因為我想修改DepthMetaData,讓我只需要處理某個範圍的深度資料

  11. heresy您好!
    我现在遇到一个问题,我用一个普通摄像头采集RGB图像,用kinect采集深度信息,然后用深度信息和RGB图像进行物体分割匹配,但是发现大多数时候两者采集的时间相差很大,即采集一幅RGB图像,但Kinect采集的可能还是上一时刻的深度信息,这样就导致两者不匹配了,请问该如何处理呢?谢谢啦!

  12. to Thanks
    你的 RGB 影像不是用 Kinect 本身的嗎?
    如果你是用額外的攝影機的話,由於兩者是完全不同的設備,所以一定會有時間差,這點基本上是無法克服的。

    不過假設時間差是固定的話,應該可以透過事先的同步(例如用特殊的場景狀態),來計算出兩者個時間差,之後再把時間差考慮進來處理。

  13. 您好~想請問一下mock這個功能有一定要接著原本的hardware device嗎?
    我如果有其他會產生depth的軟體想直接用setdata餵給openni能用mock辦到嗎?
    感謝您的幫忙~!

  14. to viaair
    理論上可以自己指定資料進去,不用依賴現有的 Depth Generator。
    不過 Heresy 沒試過。

  15. 您好~ 我有下載您的一段code來嘗試:
    http://goo.gl/G5fcS
    當code執行過”No depth generator found. Using a default one…”這一段之後再執行create usergenerator
    會一直fail
    請問這兩段是互相衝突的嗎?
    感謝您的回覆!

  16. to viaair
    在這個範例哩,是使用 MockDepthGenerator 的 CreateBasedOn() 這個函式,來根據現有的 Depth Generator 來建立 mock depth generator。
    而如果因為沒有 depth generator 而進入到「No depth generator」這個斷落的話,他就已經是在建立 mock depth generator 了。
    所以接下來的動作,就相當於是在建立 mock depth generator 的 mock node…實際上在這邊是會出問題的。
    所以後來的 user generator 也沒辦法根據 g_MockDepth 來做建立。

  17. 您好~
    很抱歉我還是有一點不清楚
    您說:
    “所以接下來的動作,就相當於是在建立 mock depth generator 的 mock node…實際上在這邊是會出問題的。”
    請問接下來的動作是指
    // by Heresy, create mock node
    g_MockDepth.CreateBasedOn( g_DepthGenerator, “mock-depth” );

    // by Heresy, create an user generator fot mock depth node
    xn::Query xQuery;
    xQuery.AddNeededNode( “mock-depth” );
    nRetVal = g_UserGenerator.Create( g_Context, &xQuery );
    CHECK_RC(nRetVal, “Find user generator”);

    這一段嗎?
    為什麼user generator會因此無法create呢?

    感謝您的回覆!!

  18. to viaair

    實際上是在這邊就出錯了
    g_MockDepth.CreateBasedOn( g_DepthGenerator, “mock-depth” );
    如果有加上錯誤檢查,就可以發現這邊就會有錯誤訊息,實際上 g_MockDepth 已經建立失敗了,所以後續的 user generator 自然也找不到對應的 depth generator 來建立。

  19. to viaair

    另外補充一下,如果是不基於現有的 depth generator 來建立 mockDepthGenerator 的話(不使用 CreateBasedOn() 而是使用 Create()),實際上會因為缺乏很多內部資訊,而無法給 NITE 的 user generator 使用。
    要把這些資料都補進去…應該很麻煩(最重要的是官方似乎沒有相關說明)

    而另一方面,NITE 的使用授權基本上是只允許使用 PrimeSense 的硬體(Kinect 和 Xtion 都是)使用其相關功能,如果你是搭配其他廠商的 Depth Generator 來使用的話,應該算是違反它的使用協議的。

  20. 你好Heresy,按照你的步骤试了一下,
    在mContext.WaitOneUpdateAll(depthGenerator);这里出现:
    Access violation reading location这种错误,但不是每次执行程序都会有错误。
    不知道为什么,但是我把// create user generator using mock depth generator这里下面的代码注释掉,也就是先不使用mock generator,就没有问题,循环更新里也可以修改数据。请教Heresy,谢谢!

  21. Heresy 你好,
    请问通过record节点把视频录制下来后,能读取出关节信息吗?就是XnSkeletonJointTransformation的内容。非常困惑,没有查找到资料,多谢啦

  22. OpenNI 的 recorder 不能記錄關節資料,但是可以再撥放的時候,從錄下來的資料重新進行辨識、追蹤。

  23. 你好,我按照你的思想,实现了NiUserTracker 这个Sample的更改,但是更改后的数据为什么还会跟踪到录像文件里的人呢?谢谢。

  24. 我修改的数据是生效的,但是UserGenerator使用的还是原先oni文件中的数据;按照你说的“修改深度資料、讓 User Generator 來分析”,我的理解应该是分析修改后的深度资料;但是我发现程序分析的依然是原先oni文件读出的深度资料,谢谢。

  25. 多谢你的文章,对我帮助不少,我看到你的http://goo.gl/G5fcS
    这篇博文,希望对相似的问题的人多谢帮助。

發佈回覆給「残云52011」的留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *