Hardware Platform

我々は、マルチタッチ入力とオブジェクトトラッキングのためのテーブルトッププラットフォームの実現にあたり、マルチタッチ入力とマーカーの位置・角度を同時に認識することができるソフトウェアのReacTiVisionを採用することで問題の焦点をハードウェアに絞り開発の簡易化を図っています。このReacTiVisionを用いてマルチタッチ入力とロボットなどの物体の認識を行うには、ロボットや物体の下部にマーカーを貼り付け、カメラを用いてマルチタッチ入力とマーカーを同時に観測してやる必要があります。 そのため、ハードウェアの問題は，テーブルに取り付けたカメラでマルチタッチ入力とマーカーを同時に観測しなければならないということになります．既存のマルチタッチ入力認識手法であるDIは赤外線の反射を利用してマルチタッチ入力とマーカーを同時に観測することが可能ですが，テーブル表面に接触していない手のひらなどでも赤外線の反射が起こってしまうため，指先の正確な認識ができないという問題があります．そこで，指先の接触を高い精度で認識することができるFTIRという手法をDIに組み込むことで，指先の認識精度の向上を図り，指先とマーカーを同時に高い精度で認識できるテーブルトッププラットフォームを実現しています．

Diffused Illumination(DI)という手法では、閉じたテーブルの下部に、赤外線ライトと赤外線カメラを取り付けてマルチタッチ入力とマーカーを同時に観測することができます。具体的な仕組みとしては、赤外線ライトから赤外線を放出すると、赤外線は壁を反射してテーブル表面に放出されます。そのとき、指やマーカーをテーブル表面に近づけるとそれぞれが赤外線を反射するので、これを赤外線カメラで観測することで、指先とマーカーを同時に観測することが可能となります。しかしながら、この手法では、指先の接触・非接触の識別が難しく、精度の高いマルチタッチ入力の認識を行うことができません。

Frustrated Total Internal Reflection(FTIR)という手法では、赤外線LEDをアクリル板の側面に押し当てることで、赤外線がアクリル板内に閉じ込められるという特性を利用しています。アクリル板内部に赤外線が閉じ込められた状態で、指先がテーブル表面に接触すると、接触点から赤外線が漏れ出すので、これをテーブル下部に取り付けた赤外線カメラで観測することで、テーブル表面における指先の接触点を観測することができます。また、ここで用いられているcompliant surfaceは指先の接触点で放出される赤外線の強度を高めることで、軽い接触（指先をドラッグ中）でも赤外線を放出し、指先のトラッキングの精度を高めています。しかし、この手法では、マーカーを観測できないという問題があります。

そこで、我々はDIにFTIRを組み込むことで、DIの欠点である指先の接触・非接触の識別が難しいという問題を解決しています。また、DIとFTIRの結合において、単純にDIとFTIRを組み合わせただけでは、指先の接触点の赤外線強度が不十分であるため、従来のcompliant surfaceであるシリコンラバーを変更することで、指先の接触点の赤外線強度を高め、安定な指先の接触点の観測を実現しています。

以下に、提案したプラットフォームの詳細をまとめます。テーブルの天板は、透明アクリル板を使用しています。映像投影用スクリーンとしてトレーシングペーパーを採用し、compliant surfaceをアクリル板との間に挟んでいます。映像表示には短距離投影用プロジェクタ(Benq MP522ST)を使用し、プロジェクタから照射される赤外線をIRカットフィルターで除去しています。プロジェクタはテーブル上面から約1m離れて設置され、投影画面のサイズは870mm×652mmです。テーブル底面には、赤外線が均等に照射されるよう赤外線投光器が４台配置されています。入力認識用のカメラとして、Firefly MV B/W(640x480 pixel, 60 fps)に赤外線バンドパスフィルタを組み合わせて用いました。このカメラにより、指先とマーカーを1.36 mm/pixelで認識できます。 また、FTIRによる指先の認識とDIによるマーカーの認識を両立するためには、カメラの焦点距離や光量などの調整が必要となるので、近赤外対応レンズ(Tamron 13VM308ASIR)をカメラに取り付けることで、これらのパラメータを調整できるようにしています。