デプス情報をもつ3D-USB カメラ

PMD 3D-USB カメラ　（情報元：Image Sensors World)

PMD Technorolies社が開発した一つのカメラで、リアルタイムで疑似立体画像を作成する方法。
実際にYoutubeの画像を見るとわかるが、撮影される画像は通常と同じ単眼の画像だが、それに合わせてデプス情報が記録されている。
このデプス情報を利用すれば、完璧ではないがある程度の視差を保たせた画像が作れるという事になる。

後述しますが、その基本的技術としてTOF（Time of Flight)が使われているのですが、これは新しい技術ではないのもののUSBパワーでここまで動くのはかなり驚きのようです。

他にもCSEM社が似たようなUSBパワー駆動のToFカメラを作成したとの情報もあります。
（参照：PDFファイル）
CSEM社のファイルには、
「個々のピクセルの距離を測ることで、3Dイメージをリアルタイムで作成する方法」と書かれています。


リアルタイムかどうかは別として、デプス情報をカメラ撮影時に取得しようとする流れは、10年近く前の情報誌でも見たことがありますし、2007年にNTTコムウェアも発表しています。
シーグラフ2007でも、DoFが変更できるカメラが紹介されています。

今までにも、デプス情報に関しては、ことあるごとにブログで書いてきましたが。
これが必要十分な質（この「十分な質」ってのが重要ですが）で、プロ用のムービーカメラに備わるようになれば、映像の革命がおきるのではないかと思います。

まず、撮影された画像から、個々の要素を抽出することが出来るようになります。
ショットによってはグリーンスクリーンは不要となり、撮影の自由度も上がり、経費削減になります。
またマスク（ロトスコープ）の作業が大幅に軽減されます。
マスクの有効性についてはすでにDistrict9で実証されています。
District9では3Dソフトで作成されたエイリアンのデプス情報をポイントクラウドとして、Nukeの中で利用することで、エイリアンの体の一部をマスクすることを非常に簡単にしています。

DoF（被写界深度）の調整は当たり前にできるでしょうから、そうするとカメラ自体は、パンフォーカスのほうがポスプロ的には、良いということになってきます。

実写映像でどこまで可能かはわかりませんが、
擬似的なオクルージョン、鏡面反射、スペキュラ、HDIR、リライトなど様々な応用ができる可能性があります。

また、映像から3Dモデルを作るのも簡単になってくるでしょう。
デプス情報から簡易3Dオブジェクトを作成すれば、パーティクルなどのエフェクトとの相互作用も簡単になる可能性はあります。
(一つの角度から撮影しただけでは、完璧な立体物が作れるわけではないので、さらに研究、調整が必要だとは思いますが）


参照エントリ：最新Nuke事情　「Dsitrct9」メイキング


カメラトラッキングの精度も上げることができるでしょう。
この機能をもったカメラで撮影し、もう一つ補助として使用すれば、ほぼ完璧なような気がします。
画像ベースのモーション・キャプチャーも発展するでしょうし、フェイシャル・キャプチャーの精度も上がるように思います。

立体視映像に関しては、この方法では、画像自体が一つしかないので限界はあると思いますが、キャメロンのフュージョンカメラのような二つのカメラを組み合わせた方式とこのデプス情報を取得する方法が組み合わされば、その問題も解決するかもしれません。

そうなると、アバター以上にCGと実写映像のブレンディングが、早く、完璧にできるようになることが予想されます。


そのような時代がくると現状の多くの仕事が失われる事になるかもしれないですが、「映像を作る」という作業に関してはかなり自由度と低予算化が広がると思います。

おそらくそれはそう遠い未来ではないような気がします。
そして、これは日本の得意分野でもあるように思いますので、是非日本が主導権を握り道を切り開いていって欲しい部分でもあります。


----------------------------------------
Tof（Time of Flight)について

正確性はわかりませんが自分で調べた限りの情報を書きますと
Time Of Flightとは直訳すると「飛行時間」
工場のパイプや胎児の様子をしらべるのに使われる超音波検査がそうです。


基本的には、
「光や音波を発信し、対象物から反射して帰ってくるまでの時間を用いて、距離を測定する方法」
です。


航空機からレーザーで地表をスキャンし、高さを含む三次元情報を取得する航空レーザ測量
（参照：やさしい航空レーザ測量の話）


潜水艦のアクティブ・ソナーなどもその一つですね。
アポロ計画で月面に設置された反射鏡もレーザー光線を使って月との距離を時間差によって測定するための物でした。

MRと呼ばれる磁気共鳴装置でもこの用語は使われていますが、どのように使われているのかは、複雑な話になり自分も理解出来ていないのでおおざっぱな説明です。正確性については保障なしです。

磁気共鳴は基本的に体内の水素原子核が磁石の性質をもつことを利用しています。
強い磁石により、原子核の磁石（正確には磁化）の方向をそろえます。
そこに電磁波（ラジオ派）をあてると磁化にコマの首振り運動のような動きが起こる。
そして電磁波を止めると、徐々に元の状態に戻る。
このとき、体内の組織によってその戻る速さが異なるのでこれを利用して画像にする。
MRAという血管を撮影する方法では、パルス照射の角度を調整し、血流による信号強度の変化を利用しているようです。
詳しいことは理解できなかったがこの血管撮影の分野で使われている技術の中にTOFがあるようです。


画像と同時にそのデプス情報（立体情報）を利用しようというのは新しい事ではなく、工場のオートメーションにも応用されており、様々な分野でその価値が認められています。