用 FAAST 把 Kinect 當 Windows 鍵盤用!

| | 0 Comments| 11:27
Categories:

之前在《在 WIndows 上安裝 Kinect(含 MMD 使用 Kinect 簡易教學)》這篇文章裡,已經大概介紹了一下,怎麼讓 Kinect 這個有趣的 XBox 360 深度攝影機可以在 Windows 上透過 OpenNI 的架構運作了;同時,也大概介紹了一下,怎樣用 Kinect 來讓 Miku Miku Dance 裡的初音跳舞了。

這一篇,則是來介紹一下,怎樣透過 OpenNI,把 Kinect 抓到的人體骨架動作,轉換為一般的鍵盤輸入。這邊用的,是美國 USC(University of Southern California、南加州大學)創新科技研究所(Institute for Creative Technologies、網頁) 的 MxR Lab 所開發的 FAAST(Flexible Action and Articulated Skeleton Toolkit,官方網頁)。

他們最有名的宣傳影片,應該就是用這套 FAAST 來玩《魔獸世界》(WOW、World of Warcraft )了!(參考
下面就是官方放在 YouTube 的展示影片:

說實話啦,Heresy 自己看完只會覺得:「玩這遊戲還真累啊…」 :p
不過基本上,這雖然只是一般的鍵盤對應,但的確是個滿有趣的應用。

而要怎麼做到一樣的事呢?基本上,第一步驟就是要先以《在 WIndows 上安裝 Kinect(含 MMD 使用 Kinect 簡易教學)》一文中的方式,將 Kinect、OpenNI 以及 NITE 安裝好,並確定可以運作。而接下來,就是到 FAAST 的官方網站,下載 FAAST 的最新版程式(目前是 0.04、直接下載)。下載之後,他會是一個 ZIP 的壓縮檔,解壓縮之後,會有四個檔案:

  • FAAST.exe:FAAST 的主程式。
  • glut32.dll:OpenGL 的 glut 環境所需要的檔案。
  • readme.txt:說明文件。
  • Bindings.txt:範例的鍵盤對應檔。

而要使用的話,也很簡單,只要在確定 Kinect 和 OpenNI 可以正常運作的情況下,執行「FAAST.exe」這個程式就可以了。而他跑起來後,也是相當單純的一個視窗,基本上就是下圖的樣子:

在視窗的上方,有一個黑色的框,這邊是會顯示 OpenNI 透過 Kinect 所抓到的資訊。而中間則有三個頁籤:「Sensor」、「Skeletion」、「Actions」可以切換,目前的版本在這裡,「Skeletion」基本上是沒有用的,所以會用到的只有「Sensor」和「Actions」這兩頁。視窗最下方則是有一個文字區域,會顯示所有的訊息,可以當作他是在輸出除錯用的訊息。

而 FAAST 程式執行起來後不會自動連線到 Kinect,要自己去按「Sensor」這個頁籤裡的「Connect」按鈕;如果有正確連接到的話,按鈕會被反白、文字也會變成是「Connected!」,同時上方的黑框也會開始顯示所抓取到的資訊(會類似 NITE 裡的範例 Sample-StickFigure.exe)。

再來,最重要的,就是要設定動作和鍵盤的對應了!目前 FAAST 還只能把動作對應到鍵盤的事件,而沒辦法對應滑鼠或搖桿,這點算是比較可惜的;不過根據官方網頁的說法,他們是會再繼續開發的。

而如果要設定動作和鍵盤的對應,則是要切到「Actions」這一頁(下圖)。

在這邊可以發現,他中間有很大的一塊區域,可以輸入文字,這裡就是用來編輯、顯示動作和鍵盤對應的內容的部分,這也是最重要要調整的區域了!預設開啟 FAAST 應該已經有幾行基本的內容了,可以當作範例來參考。另外,在官網上他們也有提供他們用來操作 WOW 的設定檔,可以讓大家下載回去自己試試看(下載連結)。

而在編輯區域的下方還有三個按鈕,右方的「Load File」和「Save File」是用來讀取和儲存對應設定檔用的;而「Start Input Emulation」就是開啟輸入模擬的功能,當一切就緒後,要按下這個鈕,FAAST 才會真的開始分析動作,進行鍵盤的輸入。

接下來,來看最重要的,也就是鍵盤對應要怎麼寫吧∼他預設的範例內容為:

# mappings from input events to output events
# format: event_name threshold output_type event

lean_left 20 key a
lean_right 20 key d
lean_forwards 15 key w
lean_backwards 15 key s

 

一開始以「#」開始的兩行都是註解,可以不用管他。而之後的四行,則代表了四種動作,各自對應到四個不同的按鍵;在這裡,他就是把身體向左傾(lean_left)對應成「a」、向右傾(lean_right)對應成「d」、向前傾(lean_forwards)對應成「w」、向後傾(lean_backwards)對應成「s」。

而這邊應該也可以看的出來,實際上這個設定的內容,每行是有四個元素的,他的格式是:

action_name  action_threshold  virtual_event_type  virtual_event_name

 

他們的意義依序如下:

  • action_name代表偵測到的動作名稱,是由 FAAST 定義的;像上面的「lean_left」這類的,就是 FAAST 定義的動作名稱。
  • action_threshold代表要這個動作的判定門檻值,單位會因為不同的動作而不同;像在上面的例子裡,因為定義的動作都是傾斜,所以它的單位就是角度,代表傾斜幾度才算數。
  • virtual_event_type代表在前面的動作發生的情況下,要送出哪一類的虛擬事件給電腦。在目前的版本,只有一般按鍵的「key」和特殊按鍵的「key_special」兩種。
  • virtual_event_name這一項則是在描述前一項「virtual_event_type」的細節。以「key」來說的話,就直接是單一字元了∼而如果是「key_special」的話,則是要搭配十進位的 Virtual-Key Codes

在動做方面,目前的 FAAST 分為「skeleton」(骨架)和「NITE」兩部分。前者就是透過整個人體骨架的姿勢來做判斷,在目前的版本有 24 個動作;而後者則是 NITE 偵測出來的手勢的部分,目前有七種。下方則是完整的列表:

類型 動作名稱 意義 條件值(單位)
skeleton lean_left 身體左傾 身體左傾角度(度)
lean_right 身體右傾 身體右傾角度(度)
lean_forwards 身體前傾 身體前傾角度(度)
lean_backwards 身體後傾 身體後傾角度(度)
left_arm_forwards 左手前伸 手到肩膀的距離(英寸)
left_arm_down 左手放下 手到肩膀的距離(英寸)
left_arm_up 左手舉起 手到肩膀的距離(英寸)
left_arm_out 左手向左伸 手到肩膀的距離(英寸)
left_arm_across 左手向右伸 手交錯過身體到肩膀的距離(英寸)
right_arm_forwards 右手前伸 手到肩膀的距離(英寸)
right_arm_down 右手放下 手到肩膀的距離(英寸)
right_arm_up 右手舉起 手到肩膀的距離(英寸)
right_arm_out 右手向右伸 手到肩膀的距離(英寸)
right_arm_across 右手向左伸 手交錯過身體到肩膀的距離(英寸)
left_foot_forwards 左腳往前 腳到左臀部的距離(英吋)
left_foot_sideways 左腳往左 腳到左臀部的距離(英吋)
left_foot_backwards 左腳往後 腳到左臀部的距離(英吋)
left_foot_up 左腳舉起 左腳離地高度(英吋)
right_foot_forwards 右腳往前 腳到右臀部的距離(英吋)
right_foot_sideways 右腳往右 腳到右臀部的距離(英吋)
right_foot_backwards 右腳往後 腳到右臀部的距離(英吋)
right_foot_up 右腳抬起 右腳離地高度(英吋)
jump 雙腳離地高度(英寸)
walk 行走時雙腳離地高度(英寸)
NITE push 速度(英吋/秒)
swipe_up 往上揮 速度(英吋/秒)
swipe_down 往下揮 速度(英吋/秒)
swipe_left 往左揮 速度(英吋/秒)
swipe_right 往右揮 速度(英吋/秒)
circle 畫圓 半徑(英寸)
wave 揮手 無(請填 0)

有了這些資料後,又可以把動作對應到按鍵了∼向比如說你希望右手舉高到到 20 英吋,就輸入「a」的話,那就只要加上一行:right_arm_up 20 key a 這樣就可以了∼

另外要注意,如果是要用 skeleton 的動作的話,那要和使用 Sample-StickFigure 或 MMD 時一樣,先進行標準姿勢的校正、識別;也就是在確認 Kinect 有正確地抓到自己的外觀時,擺出標準的校正姿勢(右圖),讓 OpenNI 可以抓到你的骨架。如此一來,他才能根據這些骨架的資料,進行分析。

而如果是要用 NITE 的手勢的話,則是要先做所謂的「focus gesture」,讓系統知道手在哪裡;而所謂的「focus gesture」有兩種,一個是「click」(其實應該算是推,也就把手往前伸再縮回來的動作)、另一個則是「wave」(手舉起左右揮動數次)。詳細的說明,可以參考 NITE 的「NITE Algorithms 1.3」這份文件(位於「C:Program FilesPrime SenseNITEDocumentation」目錄下);不過 Heresy 自己在玩的時候,總覺得手勢的部分,總覺得不是任得很好就是了。

玩了一下後,Heresy 會覺得要寫出一個好的設定會滿麻煩的。因為基本上,有不少的動作其實是有可能同時觸發的。像是「walk」由於就是要抬腳,所以很有可能同時觸發到「foot_up」的事件;同樣的,把手舉起、身體傾斜這類的動作,也很有可能在做其他動作的時候,同時觸發到。而要避免的話,大概得把條件值都設大、讓他只接受大動作了…另外,他的鍵盤事件觸發的狀況,是會去模擬鍵盤的「壓下」和「釋放」兩種事件,和一般鍵盤在壓住時會不停地重複送出鍵盤的事件,其實有點不一樣。

整體來說呢,Heresy 是覺得這類的輸入方法,並不適合用來做常態的輸入,不但累,而且精準度方面也還是有些問題的;也就是說,不要期望真的可以拿來取代鍵盤。而在滑鼠的部分,由於 FAAST 目前還不支援滑鼠的輸入,所以無法用來玩;不然 Heresy 個人會覺得,這類的輸入應該比較適合用來取代滑鼠的。

Leave a Reply

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *