2015年10月23日（金）に開催されるDigital Content Expo 2015内の「イノベイティブ・テクノロジーが未来を変える」シンポジウムにて、パネリストとして登壇しました。

登壇：DCEXPO 2015 「イノベイティブ・テクノロジーが未来を変える」シンポジウム
日時：2015年10月23日（金）15:15-16:45
場所：日本科学未来館　1階センターステージ（東京都江東区青海2-3-6）
パネリスト（ウェブサイト掲載順）：
・Paul Debevec氏（Research Professor, University of Southern California (USC)）
・稲見昌彦氏（慶應義塾大学大学院 メディアデザイン研究科 教授）
・青木崇行（カディンチェ株式会社代表取締役）
・平井淳生氏（経済産業省 商務情報政策局 文化情報関連産業課 課長）
・市原健介氏（一般財団法人デジタルコンテンツ協会 専務理事）http://www.dcexpo.jp/11108

登壇後メモ

パネリストの特権で登壇前の控室にてPaulさんと個人的にお話ができて、研究や研究所について聞けました。学部生の頃から実写を用いた3Dモデリングや、Image Based Lighting等に関わっており、そのころから研究が一貫して継続しているそうです。また、映画マトリックスの主人公が撃たれるシーン（バレットタイム撮影）の背景画像を作成されたのが映画産業との初めての関わりで、その後の研究成果の多くも実際の映画で使用され、映画産業から研究費を受け、それを次の研究に投資するという好循環を構築できているそうです。研究所がロサンゼルス近郊にあり、映画産業の中心地であるハリウッドにも近いというのも強みなのだと感じました。研究はもちろんのこと、研究を継続させるビジネスモデルの構築までされていることに感銘を受けました。

コンピュテーショナルフォトグラフィ（登壇前予習）

メインスピーカーのPaulさんは初対面になるので、予習のために調べてみました。せっかくですので、このシンポジウムに参加される方の参考にもなればと思いまとめてみました。
シンポジウムのタイトルはざっくりとしていますが、パネリストの共通項を考えると「コンピュテーショナルフォトグラフィ」が一つの軸になりそうです。コンピュテーショナルフォトグラフィとは従来の写真・映像撮影に対して、コンピュータグラフィックスやコンピュータビジョンなどの技術を足すことでこれまで撮れなかった画を取る技術です。カメラの進化として、アナログカメラ→デジタルカメラ→コンピュテーショナルフォトグラフィという第３段階と呼んでいる人もいます。当社が取り組んでいるパノラマ動画撮影なども、複数のカメラを用いて、その後画像処理でパノラマ合成をしていることからも、コンピュテーショナルフォトグラフィの一例と言えます。

Paul Debevecさん

DCEXPOの公式ページにも紹介は掲載されていますが、代表的なプロジェクトとして「デジタルエミリー」の以下の動画がわかりやすいです。このプロジェクトの詳細は「The Digital Emily Project: Achieving a Photoreal Digital Actor」に記載がありますが、顔のスキャンを156個のLEDライトとカメラが設置されたライトステージと呼ばれる装置の中で行うことで、コンピュータグラフィックスなのにまるで実写のような女優さんのいろいろな表情を再現できます。これらの技術は映画のハンコック、スパイダーマン2、スパイダーマン3、キングコング等で応用されました。

また、高速に回転するミラーと高速表示が可能なプロジェクターを用いて実現した裸眼全方位3Dディスプレイ（ライトフィールドディスプレイ）を作られています。これはミラーが向いている方向に応じて、プロジェクターで表示する画像を変えることで、360度の水平方向全方位から照射されるオブジェクトを見られるようになっています。私も前職時に似たシステム（論文情報へのリンク）に関わっていたので、こちらも特に興味深かったのです。

Ramesh Raskarさん

Paulさんについて調べていると、「西のPaul Debevecさん、東のRamesh Raskarさん」なのでRameshさんの仕事も見てみなさいというアドバイスを先輩から頂きました。RameshさんはMIT Media LabでAssociate Professorとして、毎秒一兆枚の高速度カメラを開発されています。詳細は以下の「Femto-Photography: Visualizing Photons in Motion at a Trillion Frames Per Second」に記載がありますが、以下の動画でわかりやすく解説されています。ガラスの瓶に入っていく光（光子）を超高速カメラでかつ複数回撮影することで、光の動きすら撮影してしまうフェムト（＝0.000 000000000001倍、千兆分の一の量）・フォトグラフィーという技術です。同様の技術を使うことで、角の向こうや体内も非侵食で撮影できる可能性もあるとのことです。

Rameshさんはプロジェクションマッピングの原型の一つであるShader Lampの開発者としても知られています。Shader Lampは1998年から2002年ごろに行われていた研究で、実空間のオブジェクトに対して映像をプロジェクションすることで、そのオブジェクトの模様や陰影を変える表現技術です。15-20年前にアカデミックで研究されていた技術が、今になって実用化されてきたんですね。

まとめ

当社が取り組んでいる実写系バーチャルリアリティ（パノラマ動画）もまだまだスタートしたばかりで、コンピュテーショナルフォトグラフィの各種技術を応用することで、これまで見たことがない映像・ユーザ体験を実現できそうです。ますますDCEXPO2015が楽しみになってきました。