ボリュメトリックキャプチャとは
ボリュメトリックキャプチャとは、被写体を3次元で動画のように撮影・計測する手法で、ボリュメトリックキャプチャで作成されたデータはボリュメトリックビデオと呼ばれます。英語「Volumetric Video」を直訳すると「容積のある動画」になります。
写真は2次元の静止画であり、動画は2次元の静止画に時間方向のデータがあるのに対して、ボリュメトリックビデオでは3次元データに時間方向のデータもあります。
国内外でこのボリュメトリックに関する撮影方法（キャプチャリング）、利用方法（2D映像や3Dデータとして）、伝送方法（送受信、圧縮）の研究開発やスタジオ開設が行われています。
ボリュメトリックビデオの作成方法
ボリュメトリックキャプチャを行うスタジオでは、被写体を360°囲むように複数台（数台〜数百台）のカメラが設置されています。
カメラは数十台から100台以上が正確に同期され、それらのカメラが動いている被写体を撮影し、撮影した2D動画をもとにリアルタイム処理・後処理によって3次元再構成することで、ボリュメトリックビデオができあがります。
ボリュメトリックビデオを作ることは、複数の2次元動画から被写体である元の3次元像を作ることであり、3次元再構成法と呼ばれます。RGBカメラを用いて視体積交差法やステレオ法などが用いられています。また一部ではありますが、デプスセンサーと呼ばれるカメラから被写体までの距離を計測できるセンサーを用いている例もあります。
できあがる3Dデータとしては、多量の点群であるポイントクラウドデータの場合と、その点と点を繋げて矩形や面にするメッシュデータの2種類があります。
ポイントクラウドは点の集合のため、データを拡大していくと点と点の間に隙間が発生してしまいますが、メッシュの場合はそういったことは発生しません。
一方でメッシュの場合はデータを拡大していっても隙間は発生しないものの、一つ一つのメッシュは曲面にはなっていない矩形から構成されているため、角張ったデータに見えてしまうことがあります。
どちらの場合においてもデータ量や解像度が十分であればそこまで気づかれませんが、拡大する際などは注意が必要です。
ボリュメトリックキャプチャの使用例
人間の動きを実写３次元で動きも含めて撮影できることから、ミュージシャンやダンサーなどのパフォーマンスや、少人数しかできない専門的な動き（医師の手術、人間国宝級の伝統工芸の技、スポーツ）のアーカイブやビジュアライゼーションなどに活用されています。
カディンチェが出来ること
- ボリュメトリックキャプチャシステムを用いた撮影
- ボリュメトリックビデオを用いたアプリケーション開発
事例
ボリュメトリックキャプチャシステムの開発
クライアントとともに、ボリュメトリックキャプチャシステムの開発に取り組んでいます。
ボリュメトリックビデオを活用したアプリケーション開発
ボリュメトリックビデオを活用した歌舞伎体験用ARスマホアプリの開発を行いました。