Texture-Preserving Shadow Removal in Color Images Containing Curved Surfaces(Poster)
Eli Arbel(University of Haifa)

画像から影を消す研究です。曲面にも対応してます。

詳しいやり方は・・・まだ読んでません（ノД｀、）ﾁｮｯﾄｼﾞｶﾝﾅｲ･･･

ブラーが発生している対象から数字が読み取れるまでになっている。Flutter Shutter付カメラは確かに凄い威力ですが・・・・

Flutter Shutter付カメラ

【発表者】
Amit Agrawal, Ramesh Raskar(MERL)

【概要】
SIGGRAPH2006で発表されたFlutter Shutter Cameraを使用したDeblurrに超解像機能を追加。

カメラのシャッターはboxフィルターとして動作するため、高周波成分が除去されてしまい、高速な被写体や手ブレがによるブラーが発生した場合、Deblurrしても十分な解像度が得られなかった。

そこでFlutterシャッター(カメラ本体のシャッターが落ちる前に開閉を何度か繰り返す高速シャッター)をカメラレンズ前に追加することで高周波成分を画像に畳み込むカメラを作成し、得られた画像をDeblurrすることで解像度の高い画像を得、さらに超解像処理を行う。

【所感】
前から思ってたんですが、Flutterシャッターをカメラ前に追加して撮影するくらいなら、最初からシャッタースピードを上げて撮影したほうが良くないっすかね？

用途としては・・・普通のデジカメをハイスピードカメラに簡単に改造できるぐらいか？

技術的には凄いと思うんだけど、使い道がイマイチピンと来ません(;^_^A

CVPRのバンケットが行われたPicasso and American Art Museumに面白いデバイスがありました。

内容までよく見ていませんが、画面を指で操作でき、歩いている人アイコンを捕まえてドキュメントのアイコンに重ねると色々解説が出てきます。

最初はタッチスクリーンと思って触ってたのですが、イマイチ精度が悪い。スクリーンに触るのではでなくて、空中で人アイコンを摘むのが正解のようです。( しかし誰もが最初は画面をタッチしてイラついてました（笑） )

歩いている人アイコンを早く動かしすぎると転んだり、手をかざすとこちらを向いて手を振ってくれたり見た目が楽しいです。

この美術館のウリはその名の通りピカソらしいのですが、あまりに場内混みすぎで身動きが取れなかったのでピカソはおろか展示物は何も見れずじまいでした（ノД｀、）

唯一混んでなかった売店(要するに会場外)でこんなのみつけました。

新聞紙なバッグ

アートな軍手

ナゾなキャラクター

Locally Likely Arrangement Hashing(LLAH)
大阪府立大学 工学研究科　電気・情報系専攻 知能情報工学分野　知能メディア処理研究室
http://www.m.cs.osakafu-u.ac.jp/

Webカメラを用いたリアルタイム文書画像検索、カメラで文書を撮影するとリアルタイムで該当ページを検索して表示する。
MIRU2006が初出で、CVPRには販促に来ていた模様。

カメラで本を撮影

技術的には特徴点抽出→マッチングというシンプルなものですが、実物の本を検索するIFとその高速性が良いですね。

左側ウインドウは撮影画像から説く頂点を抽出したもの(赤点が特徴点)、右側ウインドウは特徴点と特徴点DBをつき合わせてページとカメラ位置を推定したもの(赤枠がカメラの撮影範囲)

本のデータはPDFがあったので、バッジ処理したとのこと。そうじゃないと・・・・泣けそうですね。
あ、今は本のスキャンに特化したスキャナがあるからそうでもないのか？
※ScanSnap：http://scansnap.fujitsu.com/jp/feature/

何はともあれ、リアルの世界に適用するとやっぱり面白いですねぇ。

問題は、本をカメラで撮影して検索するシチュエーションがあるかどうか？

・・・・・正直、ないなーヽ(ﾟ- ﾟ)丿

無理やり考えるとすると、印刷した論文の途中の1ページしかないときにどの論文なのか調べたい時とか？
あと、本に写真とか映像を重ねたいとかですかね？

うーん、微妙。

ちょっと考えたんですが、百科事典・図鑑に連動するとよさそうです。撮影対象は草花や動物といった実物で、撮影すると種を特定して解説ページを表示してくれるとかどうかな？
携帯性・リアルタイム性を考えるなら携帯電話が大活躍しそうですね。子供が親におねだりする理由になりそうです（笑）

デジカメで撮影して自宅でじっくり調べるでもいいですね。

Inter-Reflection Compensation for Immersive Projection Display (Poster)
Hitoshi Habe, Nobuo Saeki, Takashi Matsuyama(奈良先端)

【概要】
曲面スクリーンに投影する映像の補正。
曲面スクリーンには一様に投影できない(輝度に差が出る)ので、白色を投影してカメラで撮影→キャリブレーションを行い、それを元に一様に投影できるようにする。

【所感】
投影した映像でリアルタイムにキャリブレーションできれば面白いですな。
多少光が差し込んでも対応できそうですし。

・・・と思ったらこんな発表↓ありました(;^_^A
　
　
Photometric Self-Calibration of a Projector-Camera System
Ray Juang, Aditi Majumder
【概要】
投影した映像をカメラで撮影、リアルタイムにキャリブレーションする技術。

【所感】
良く出来てます。うーん（笑）

左は修正前、右が修正後。四隅のケラレが消えています。

こちらはパノラマ、継ぎ目の暗い部分が消えています。

High-Speed Measurement of BRDF using an Ellipsoidal Mirror and a Projector
Yasuhiro MUKAIGAWA, Kohei SUMINO, Yasushi YAGI(阪大)

【概要】
高速にBRDFを測定する方法。半球の鏡を使うのが特徴・・・らすぃ

【BRDF】
BRDFは詳しくないので、興味ある人ドゾー（笑）

Real-Time Projector Tracking on Complex Geometry Using Ordinary Imagery
Tyler Johnson, Henry Fuchs

【概要】
複雑な形状に対してプロジェクタを投影する研究
ステレオカメラで投影している画像を撮影し、オリジナルと比較して投影面の形状をリアルタイムで算出。投影面にあわせて変形させた映像を出力することで凸凹な面にフラットな映像を投影できる。
プロジェクタを動かして投影画像を移動させてもOK。しかし、カメラは動かせません。

【所感】
携帯電話に大いに使えそうですね。カメラは既についてるし、プロジェクターもソロソロ搭載されそうですし。
面白いアプリが作れそうです。しかしなんでカメラは動かせないんだろう？

Shadow Removal in Front Projection Environments using Object Tracking
Samuel Audet, Jeremy Cooperstock

【概要】
フロントプロジェクタの前に人が立った場合にプロジェクタ投影面に写りこむ人の影を除去する。
人の位置特定→写りこむ影位置特定→影にならない位置にあるプロジェクタで補完するもの。

・システムは複数のプロジェクタとキャリブレーション済みの複数のカメラで構成される。
・プロジェクタ投影面は平らと仮定、人間の立ち位置をOpenCVに実装されているBlob Trackerで取得。
・プロジェクタ位置と人間の立ち位置からプロジェクタ投影面に現れる影の領域を特定する。
・影の位置に相当する領域を影にならない位置にあるプロジェクタで補完することで影を消す。

【所感】
デモでは人間が静止している場合は上手く行っていたが、動くと影が完全に消しきれておらず、処理速度に問題あり。
スペースの問題でリアプロジェクションが使用できない場所(店舗)や、ショーウインドーに設置するような場合に有効だと思われる。
がしかし、先日発表された設置距離わずか8cmで80インチというプロジェクタ使えばそもそも解決するという噂もある。
http://www.ar-lab.info/mt/weblog/archives/2007/06/_8cm80.html

つうか、壁に投影する場合はプロジェクタの設置位置とかでかなり回避できるんじゃまいか？？？？
こういう人の影が写り込むシチュエーションってどんなだろう？？？

などと思ってたのですが、最近展示会で良く見かける、地面に投影するタイプには非常に使えますね、コレ。
発表には利用方法を連想させるデモが必要ですね。

【Blob Trackerについて】
ミネソタ大学発祥。
元は道路脇に備え付けられたカメラから取得される画像を用い、車両を検出する手法であった。

O. Masoud, N. P. Papanikolopoulos and E. Kwon,“The Use of Computer Vision in Monitoring Weaving Sections,” IEEE Trans. on Intelligent Transportation Systems, 2, 1, pp. 18-25, March 2001.

認識対象のモデルは使用せず、画像処理手法と拘束条件から認識対象を検出する。
　1.フレーム間差分から移動物体領域を検出
　2.検出した移動物体領域にラベルを付ける
　3.各領域のパラメータ(面積、周囲長など)を求める
　4.フレーム間の領域（blobs）ごとの関係グラフ（blob graph）を作成(前後フレームのどの領域が同じか?))

DigiTable: An Interactive Multiusers Table for Collocated and Remote Collaboration Enabling Remote Gesture Visualization
Franc,ois Coldefy, Ste'phane Louis dit Picard(Franc，ois Coldefy and Stphane Louis-dit-Picard Orange Labs)

【概要】

遠隔地間のShared Desktopシステム。
テーブル上に互いの腕の動きが表示されるのが特徴→ジェスチャーをビジュアライゼーションするというコンセプトらすぃ。

テーブルの上に設置したカメラから得たテーブルの映像(腕が写りこんでいる)とテーブルに投影する画像(当然腕は無い)の差分から腕の位置(領域)を取得し、その部分の映像を相手のシステムに送る。
このシステムに使っているMerlのDiamondTouch(テーブル)は$1000だとか。

【所感】
実際にShared Desktop使ってみたことがないので何ともいえないんですが、便利なのかな？
PC画面のシェアに腕が出てきてもあまり嬉しくないような・・・・

Displaying a Moving Image By Multiple Steerable Projectors
Ikuhisa Mitsugami, Norimichi Ukita, Masatsugu Kidode(奈良先端)

【概要】

複数のFixed-Center Pan-Tilt(FCPT) プロジェクター(首振りプロジェクター)を使って映像を投影するシステム。

プロジェクターが動くので広範囲に映像を投影したり、人に追従しながら投影できたりする。

また、複数のプロジェクタを使うので合成して大きな映像を投影したり、重ねて輝度を上げたり出来る。

【所感】
これは面白そうです。広告とかナビゲーションに使えるかな？メンテが面倒そうですが。
街中で実験してみたいですね。プロジェクタの光が人の目に入らないようにしないといけませんね。

Automatic texture mapping on real 3D model (Poster)
Molinier Thierry, Fofi David, Patrick Gorria(University of Burgundy France), Joaquim Salvi(Universitat de Girona Spain)

【概要】
物体にテクスチャを投影する研究。
QRコードのようなパターンをオブジェクトに投影、ゆがみを測定することで3D形状を把握、3D形状に合わせてテクスチャを変形させて投影する。

【所感】
良く出来てます。が、物体にテクスチャ投影って違和感があるのが難点ですよね。輝度低かったりのっぺりしたり。その辺を改善できたら面白いのでしょうが。

Realizing Super-Resolution with Superimposed Projection
Niranjan Damera-Venkata, Nelson L. Chang(HP)

【概要】
複数のプロジェクタを重ねて投影することでアンチエリアシングやら超解像やら。

【所感】
この発想は無かった・・・・(# ﾟДﾟ) くやしぃっ！
しかも凄く解像度が上がってるんですよね・・・・こりゃ素直に凄いです。
この研究はAward貰ってました。

凄いですねー。

Focal Pre-Correction of Projected Image for Deblurring Screen Image
Yuji OYAMADA, Hideo SAITO(慶応 斎藤研)

【概要】
プロジェクタの焦点ボケをソフト的に解消。
Point Spread Function(PSF:ある一点がどの程度拡散されるか)を使ってソフト的に焦点距離をずらす。
動的に焦点距離を変化させることにより、スクリーンが動く・プロジェクターが動く場合でも焦点を合わせ続けることが可能。また、プロジェクターの投影深度(フォーカスが合う距離)を超えたスクリーン(スクリーンが傾いているとか、凸凹が大きいとか)に対応できる。

【所感】
これまでのProjection Based ARで見て見ぬフリをされていた問題のような気がします。
どのくらい焦点距離を変化させられるんだろ？後で聞いてみよっと。

【追記】
聞いてみたところ『主観だけど±50cmぐらいはいけるのでは？』ということでした。
もっと具体的に言うと最大で5～10ピクセル分のボケ(ブラー)まで補正可能とのこと。

プロジェクタ-スクリーン間の距離をどのくらい離せば5～10ピクセル分のボケが生じるかについては、プロジェクタのスペック(被写界深度、もしくは投影深度が大きければ多少動かしてもブラーが生じない)と投影距離に依存するので何ともいえない。

指標としてはプロジェクタ-スクリーン間の距離に対して何%の距離まで修正OKというのが考えられるそうです。