動画幾つかUPしました

Transparent Cockpit

Inter Glow

Gravity Grabber

Globe4D

Fuwapica Suite

他にも色々あるので、YouTubeのMore From This Userにて確認してみてください。

FJORG!で作成された作品などがYouTubeにUPされています。

↑一瞬、私も映ってます(;^_^A


優勝作品はこちら。Team MocapのSWITCH

●Factored Time-Lapse Video
Kalyan Sunkavalli, Wojciech Matusik, Hanspeter Pfister(MERL)
Szymon Rusinkiewicz(Princeton University)

定点カメラの動画を解析し sun, sky, shadow と reflectanceに分解、必要に応じて組み合わせて表示できる。

●Computational Time-Lapse Video
Eric P. Bennett, Leonard McMillan(University of North Carolina at Chapel Hill)

定点カメラで観測した映像から早回し映像を生成するときに問題となるフレームレート、高いと大量のストレージが必要となり、低いと早い動きをする物体を捕らえられない。ので、シーンを解析して動的にフレームレートを変化させることで見やすい早回し映像を作成。

Seam Carving for Content-Aware Image Resizingと同じ、変化の少ない部分を削除する考え方です。中部大学の藤吉先生の授業アーカイブシステムも同じ仕組みですね。

Real-Time Edge-Aware Image Processing With the Bilateral Grid
Jiawen Chen, Sylvain Paris, Frédo Durand(MIT)

●Video Watercolorization Using Bidirectional Texture Advection
Adrien Bousseau(INRIA), Fabrice Neyret(LJK /IMAG-INRIA) Joelle Thollot(INRIA, Grenoble University)
David Salesin(Adobe Systems Incorporated and University of Washington)

これは動画を見るのが一番簡単なのでhttp://artis.imag.fr/Publications/2007/BNTS07/を見てください。動画300MB以上ありますが(;^_^A

動画の水彩化フィルタ。静止画だと水彩を模したテクスチャを適用すれば問題なく水彩フィルタになるんですが、これを動画に適用すると見づらいことこの上なし。なので、水彩を表すテクスチャも動画にして(もちろんソース画像から作成)、自然な水彩化フィルタに。
(手抜きもいいところ解説(;^_^A )
　
　
　
このセッションはComputational Videoと言ってもいい内容ですなヽ(ﾟ- ﾟ)丿

最後に大まとめ

今年の参加は24000人
Paperの投稿は過去5年で最高？(よく聞こえなかった、自信なし)

SIGGRAPH ASIA 2008がある。開催は10-13 December 2008、場所はシンガポール
Paperの締め切りは5月後半の予定

SIGGRAPH2008について

More Paper Topics

Scientific Visualization
Information Visualization
Computational Geometry
Computer-Aided Design
Haptics and Audio

●Capturing and Viewing Gigapixel Images
Johannes Kopf(Universität Konstanz) Matt Uyttendaele(Microsoft Research) Oliver Deussen(Universität Konstanz) Michael F. Cohen (Microsoft Research)

MSが開発しているHDViewという巨大イメージのビューワ(IE,FireFoxプラグイン)に関連した技術の発表。8Mピクセルカメラで撮影した画像をつなぎ合わせて大きくする(パノラマにする)場合の、自動合成と歪みと輝度修正。

HD View
http://research.microsoft.com/ivm/HDView.htm

特にダイナミックトーンマップにより拡大しても見やすい(もやが取れているような効果になる)のと、全体で色が合っているのが凄い(画像合成がうまくいっているのは言うまでも無い)。

合成後、修正前

合成後、修正後

発表では8MBカメラで撮影した画像をつなぎ合わせて、150度の視野角を持っている巨大な画像を作っていました。

パイプライン。大まかには8MBカメラで撮影→特徴点抽出→マッピング→Dynamic Tone Mappingという順序。

●Efficient Gradient-Domain Compositing Using Quadtrees
Aseem Agarwala (Adobe Systems Incorporated)

パノラマ作るときの継ぎ目の除去。各写真ごとに異なる(露出とかシャッタースピードで違ってくる)Gradient(諧調だっけ?)を領域分割して(諧調の変化が激しい部分ほど細かく分割して)なだらかに変化するように調整することで継ぎ目を除去(多分)。

PhotoshopCS3で実装されてるそうです。

●Image Upsampling Via Imposed Edge Statistics
Raanan Fattal(University of California, Berkeley)

これは凄い。。。。。ケド、研究ネタを思いついて自分の世界に引きこもっていて思索を巡らしていたので、内容を聞いていませんでした(;^_^A
あとで論文読んでおきます。

●Joint Bilateral Upsampling
Johannes Kopf(Universität Konstanz) Michael F. Cohen(Microsoft Research) Dani Lischinski(The Hebrew University) Matt Uyttendaele(Microsoft Research)

Capturing and Viewing Gigapixel Imagesと同じ人。巨大な画像でトーンマップを作るときに問題となるのがその画像の大きさ。ぶっちゃけトーンマップにリソースを裂きたくないので、画像を縮小してトーンマップ(ExposureMap)を作成、アップサンプリングして巨大画像に適用というパイプラインをやりたいらしい(多分)。
他にもStereoDepthやらColorizationとかに適用可能。

いや、ここでも引き続き研究ネタに思索を巡ら(ry

このセッションはMS祭りだったような気がします(;^_^A

●Active Refocusing of Images and Videos
Francesc Moreno-Noguer(CVLAB, Ecole Polytechnique Fédérale de Lausanne), Peter N. Belhumeur, Shree K. Nayar, Columbia University

Computational Photographyでも紹介されていた。プロジェクタで白いドットをシーンに投影しながらカメラで撮影、ドットのボケ具合からDepthを取得、ドットを除去した上でリフォーカスする。
Depthが分かっているので、リライティングも可能そうですね。

●Multi-Aperture Photography
Paul Green(MIT), Wenyang Sun, Wojciech Matusik(MERL), Frédo Durand(MIT)

カメラの絞り(Aperture)具合で被写界深度の違いがでるが、これを逆利用して一度に複数の絞りで写真を撮影し、結果を合成することで撮影後に被写界深度、フォーカスを帰ることが出来る。Optical Splitterがえぐい。

本当はレンズ内部の絞り部分にSplitterを入れたかったが、スペースが足りなかったのでリレーレンズを使ってSplitterをレンズと本体の間に設置。私もそうなんですが、既存のカメラに手を入れるのにみんな苦労している模様。

Splitterミラー。左から入ってきた光はここで4つに分けられる。

撮影結果

●Dappled Photography: Mask-Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing
Ashok Veeraraghavan, Ramesh Raskar, Amit Agrawal, Ankit Mohan(MERL), Jack Tumblin(Northwestern University)

こちらもComputational Photographyで紹介されていました。有名なRenのライトフィールドカメラと同じもの(多分)なのですが、こちらはマイクロレンズアレイを使わなくていいみたい。

イマイチよく理解できなかったのですが、予めパターンの分かっているマスクをイメージセンサの前に置いて撮影、4次元のライトフィールドを計算することでRefocusやらなにやら出来るようになる・・・・ということなんですが、何でパターンの分かっているマスクを置くとそうなるのかが・・・・

もっと簡単に出来る方法がないのかなぁ？Computational Cameraはすごいんですけど、全体的にすごく手間がかかってるんですよね。

●Image and Depth From a Conventional Camera With a Coded Aperture
Anat Levin, Rob Fergus, Frédo Durand, William T. Freeman, (MIT)

Dappled Photographyと同じで、Dappled Photographyはイメージセンサの前にフィルターを置いていたのが、こちらはカメラの絞りをCoded Apertureに置換。Depth推定からRefocus、Deblurが可能・・・・らしいけどなんでそうなるのかが、

もうね、数学が絡んでくると生物(ｒｙ

・・・あとで論文しっかり読んでおきます（ノД｀、）

・・・ふと思ったけど、Deblur/Refocusでぼけた部分を回復できると嬉しいのは確か。しかし、その逆で指定部分をぼかすのは・・・演出以外でどういう用途があるんだろう？(;^_^A

インプット大杉でアウトプット滞り中・・・（´・ω・｀）

脳がパンパン(;^_^A

容量の少なさが嘆かわしいでつ

とりあえずE-techと展示は駆け足で見てきました。ビデオをたくさん撮ったので、Pitに戻り次第UPします。

これからメインのComputational CameraのPaperです。

気合入れて聞いてきます(｀ヘ´) !!!

今朝は7時からFJORG!のヘルプに行ってました。

このイベントにはTeam TEKKAIという私の知り合い3名(日本人)が予選を勝ち抜いて出場してまして、私は通訳K氏のお手伝いです。

FJORG!は『料理の鉄人』のアニメーション版、『アニメの鉄人』とでもいうイベント、参加者はその場で与えられたお題に即したアニメーションを32時間(!)で作成し、審査をするもの、ファイナリストは16チームです。

SIGGRAPH公式サイトでは

-----------------------------------------------------------------------------------
『SIGGRAPH 2007における初の“鉄の意志”を持ったアニメーターイベントである国際FJORGでは、3人のCGアニメーターからなる各チームが、寝る間を惜しみ、様々な誘惑を乗り越えて、32時間ぶっ通しで戦い続けます。目標は、これらの誘惑に抵抗して、締切時間内に世界が今までに見たことのないような素晴らしいキャラクターアニメーションを作成することです。これらのアーティストチームが無事に目標を達成した暁には、コンピュータグラフィックス、長編映画、アニメーション、ゲームプロダクションの求人担当者やタレントの注目を得られます！』
-----------------------------------------------------------------------------------

という紹介がされています。

優勝はかなり豪華商品が与えられます。一例をあげると

・PS3×3台
・Digital Camera×3台
・Maya, Softimage, CS3 Premium(CGソフト)×3ライセンス
・32インチBravia TV×3台
・Sony Pictures Imageworksの偉い人とランチ
・Dream Worksのスタジオご招待

などなど。

集合7時の開始9時と、随分集合が早いなぁとか思ったら、事前説明がかなり念入りで驚きました。
まずは座席の抽選から始まり、一般的なアニメ製作の手順のおさらい、効果的な睡眠のとり方、疲労と作業効率の話、カフェイン摂取とその効果、ルールetc....

集合風景、バイキングのメットをかぶった人たち(実行委員)のテンションが異常(;^_^A

座席抽選。この人はTEKKAIのチームリーダーAさん。

この席が当たりました。

会場の様子。

PC3台にタブレット、各PCには各種ソフトウェアと素材が入っています。

ノベルティグッズとガム、歯磨きセットなどが支給されています。

仮眠室もあり、賞品が積まれています。

ついにお題発表！・・・・・意外と地味（´・ω・｀）
もっと料理の鉄人っぽい演出があるのかと思ったんですが。

お題は

-An Impossible Escape.
-A fate worse than death - not death but something so horrible or embarrasing it iw worse than death.

のどちらか選択です。

会場の外ではモニタが並んでいます。このモニタはクリエイターのモニタを映し出していて、作業内容がすべて分かるようになっています。

また進捗があったら更新していきます。

【4時間経過】

【10時間経過】

後姿に変化は見えません(;^_^A

【16時間経過】

やっぱり同じ・・・・・(;^_^A

【24時間経過】

やはり動いていないように見えます(;^_^A
生きてるか？

【31時間経過】

残り後一時間！既にレンダリングに入っています。が、ここに来てタイトルを決めてないことを発見（笑）

【終了！】

FJORG!

Image Slicing & Stretching(Monday, 6 August 10:30 am - 12:15 pm Room 6AB & CF)

●Soft Scissors: An Interactive Tool for Real-Time, High-Quality Matting
Jue Wang(University of Washington),Maneesh Agrawala(University of California, Berkeley),Michael F. Cohen
(Microsoft Research)

筆ツールで切り抜きたいオブジェクトの輪郭をなぞると自動的に切り抜いてくれる。ファーでも問題なく切り抜けています。

●Seam Carving for Content-Aware Image Resizing
Shai Avidan, Ariel Shamir(MERL)

シーム(継ぎ目)とは画像中でエネルギーの低いピクセルをつなげた領域(空や地面といった拡大縮小しても影響を与えない領域になる)のことで、ここを中心に拡大縮小する。結果、写っている人や建物のアスペクト比を損なうことなく、拡大縮小が可能です。再生デバイス(環境)に合わせ、動画や画像を自動リサイズする用途を想定。

上がオリジナルイメージで、赤線がシーム。、それ以外はそれぞれ横方向に拡大、縦方向に縮小した結果で、真ん中のは従来手法、一番下は本手法。

見ての通り、金閣寺の縦横比を損なうことなく変換できており、非常に自然ですね。シームが一本だとギクシャクするので、シームを複数検出することで滑らかな拡大縮小を行っているみたいです。
また、これを利用して、対象を消すことも出来る(消したい対象の上にシームを設定)そうな。。

ただし、オブジェクトが画面のほとんどを占めている場合(オブジェクトの中にシームがある場合)はうまくいかないという制限もあります。

●Detail-Preserving Shape Deformation in Image Editing
Hui Fang(Google Inc.), John C. Hart(University of Illinois at Urbana Champaign)

画像の任意の部分を自由にデフォルメ。テクスチャも自動生成する。ペンツールでデフォルメしたい部分をなぞり、次にどのようにデフォルメしたいかペンツールで書くと自動的にデフォルメしてくれる。

●CGARTSのSIG情報
http://www.cgarts.or.jp/siggraph/news2007/index.html

●ソニー、SIGGRAPH2007に「Cell Computing Board」を技術出展
http://japan.cnet.com/news/ent/story/0,2000056022,20353924,00.htm?ref=rss

Image Analysis & Enhancement
　　　Image Deblurring with Blurred/Noisy Image Pairs
　　　Photo Clip Art
　　　Scene Completion Using Millions of Photographs
Image Slicing & Stretching
　　　Soft Scissors: An Interactive Tool for Realtime High Quality Matting
　　　Seam Carving for Content-Aware Image Resizing
　　　Image Vectorization Using Optimized Gradient Meshes
　　　Detail-Preserving Shape Deformation in Image Editing
Light Field & High-Dynamic-Range Imaging
　　　Veiling Glare in High-Dynamic-Range Imaging
　　　Ldr2Hdr: On-the-Fly Reverse Tone Mapping of Legacy Video and Photographs
Appearance Capture & Editing
　　　Multiscale Shape and Detail Enhancement from Multi-light Image Collections
Computational Cameras
　　　Active Refocusing of Images and Videos
　　　Multi-Aperture Photography
　　　Dappled Photography: Mask-Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing
　　　Image and Depth from a Conventional Camera with a Coded Aperture
Big Images
　　　Capturing and Viewing Gigapixel Images
　　　Efficient Gradient-Domain Compositing Using Quadtrees
Video Processing
　　　Factored Time-Lapse Video
　　　Computational Time-Lapse Video (project page)
　　　Real-Time Edge-Aware Image Processing With the Bilateral Grid

Hybrid Images
Oliva et al (MIT)

Drag-and-Drop Pasting
Jia et al (MSRA)

Two-scale Tone Management for Photographic Look
Bae et al (MIT)

Interactive Local Adjustment of Tonal Values
Lischinski et al (Tel Aviv)

Image-Based Material Editing
Khan et al (Florida)

Flash Matting
Sun et al (Microsoft Research Asia)

Natural Video Matting using Camera Arrays
Joshi et al (UCSD / MERL)

Removing Camera Shake From a Single Photograph
Fergus (MIT)

Coded Exposure Photography: Motion Deblurring
Raskar et al (MERL)

Photo Tourism: Exploring Photo Collections in 3D
Snavely et al (Washington)

AutoCollage
Rother et al (Microsoft Research Cambridge)

Photographing Long Scenes With Multi-Viewpoint Panoramas
Agarwala et al (University of Washington)

Projection Defocus Analysis for Scene Capture and Image Display
Zhang et al (Columbia University)

Multiview Radial Catadioptric Imaging for Scene Capture
Kuthirummal et al (Columbia University)

Light Field Microscopy (Project)
Levoy et al (Stanford University)

Fast Separation of Direct and Global Components of a Scene Using High Frequency Illumination
Nayar et al (Columbia University)

SIGGRAPHは今日からですが、初日はCourseしかありません。今は私の研究分野に近いComputational Photographyを聞いています。

大体知っている内容なのですが、おさらいには丁度いいです。

●Computational Photography(Sunday Full-Day, 8:30 am - 5:30 pm)

A.1 Introduction (Raskar, 10 minutes)
A.2 Concepts in Computational Photography (Tumblin, 30 minutes)
A.3 Understanding Film-like Photography (Raskar, 30 minutes)
A.4 Image Processing Tools (Tumblin, 30 mins)

B.1 Improving Film-like Photography (Tumblin, 20 minutes)

B.2 Computational Camera (Nayar, 60 minutes)

System with a Flexible Field of View：曲げられるミラーを介して動画を撮影、画像の歪みからミラーの歪みを推定。結果、大きな画像を得ることが出来る。。。。。。。って、最初から魚眼使っちゃダメ？(;^_^A
Scene Collage：特徴点をマッチングさせることで複数枚の写真を合成する。
Dynamic Scene Collage：小型カメラを曲げられるシートにたくさん貼り付け、シートを任意に曲げながら撮影、結果を合成。。。。。。。。って、やっぱり最初から魚眼使っちゃダメ？(;^_^A
Active Refocusing with a Single Image：プロジェクタで白いドットをシーンに投影しながらカメラで撮影、ドットのボケ具合からDepthを取得、ドットを除去した上でリフォーカスする。

全体的に面白いトピックスでした、質問者も沢山だし (^ー^)

発表者のNayar(Columbia University)のやっていることは私と非常に近く、ほぼ同じ内容の研究を同じ時期(正確には私のほうが半年遅くて涙をのんだ)にやっている、私のライバルです。

当然、私の悲しい片思いですが（笑）

B.3 Image reconstruction techniques (Tumblin, 20 minutes)

C.1 Multi-perspective Photography (Davidhazy, 35 minutes)

C.2 Lightfield photography and microscopy (Levoy, 30 minutes)
合成開口カメラ、元祖ライトフィールドカメラについて。ライトフィールドカメラを顕微鏡に応用する方法について。被写界深度の浅い顕微鏡にライトフィールドは使えそうですね。

C.3 Fourier Analysis of Light Fields (Georgiev, 35 minutes)
古典的カメラからAdobeカメラまでをモデル化。つうか、タイトルは『Mathematical Analysis of Light-Field Cameras』だった。

D.1 Computational Illumination (Raskar, 40 minutes)

PaperのGlare Reduction(Light Field & High-Dynamic-Range Imaging)が面白そうでした。

D.2 Computational Imaging in the Sciences (Levoy, 30 minutes)
D.3 Future Cameras (Raskar, 20 minutes)

Heterodyne Light Field Camera、従来のライトフィールドカメラのようにマイクロレンズアレイを使用せずに、予めパターンの分かっているマスクをイメージセンサの前におくことで、Refocusやらなにやら出来るようになる。

この辺になるとPaperで発表されている内容に近くなります。今年は19のComputational Photography関連Paperがあるそうす(昨年は16)。要チェックですね。

また、Computational Photographyという本が出版されるそうです。
著者はRamesh Raskar と Jack Tumblin。SIG会場で売ってるみたいなので、本人見つけてサインもらおうかな？

今日は他にもOverview SessionとFast Forward Papers Previewを覗いてみようと思います。

●Overview Session ( 10:00-12:00@International Center )
Computer Animation Festival、Art Gallery、Paper等SIGGRAPH2007の見所を各Chair（委員長）が解説

●Fast Forward Papers Preview
1分以内に自分のPaperの内容を予告するセッション