360度映像をリアルタイムに配信可能なVahanaVR(VideoStitch社)を使用して、ライブストリーングの検証を行っています。VahanaVRを使ったライブストリーミングではどんな事が可能なのか検証を進める中でわかってきた内容をご紹介したいと思います。
ハードウェア接続→事前準備(スティッチ)→配信→表示の流れに沿って、以下で説明します。
まずはライブストリーミングの撮影・送出に必要なハードウェアを準備します。パノラマ専門ブログであるPanoramania Diaryの「VideoStitch Vahana VR 1.0正式リリース – 世界初の360videoライブ配信ソリューション」を参考にして、当社では以下の様なハードウェア構成にしました。GoPro Hero3+ 6台:Hero3だと原因不明のプチプチ音のノイズが乗りました
GoPro 6台用リグ:F360 Broadcaster
Micro HDMI – HDMIケーブル 6本:カメラとPCを離すための5mの延長ケーブルも
Mini USB – USBケーブル 6本:GoProに給電するため、USBハブとともに
PC:マウスコンピュータ MDV ADVANCE GX シリーズ MDV-GX9530X2-SH
HDMIキャプチャボード 2つ:Magewell XI400DE-HDMI
なお、講演のストリーミングのためにGoProに外部マイクを使用する場合は、USBインターフェイスを使うことになるためGoProへの電源供給はできなくなります
リアルタイム配信するためには、事前に6台の映像を1つの360度動画にするスティッチする事前準備が必要になります。スティッチ自体はVahana VRにて自動で行われますが、設置環境によっては、スティチがエラーとなる場合があり、その場合は、カメラを置く位置を変えたり、地面や壁など平面になっている場所に物を設置したりして空間に特徴を出し、スティッチしやすい環境を用意します。
Vahana VRでは、360度全方位のリアルタイム映像をローカルPC上に保存したり、RTMP配信・CDNサーバを使用してインターネット上に配信する事が可能です。ネット環境は無線では配信が不安定な状態となるため、有線での配信が必要となります。なおVahana VRで配信する映像フォーマットや変更可能なパラメータは以下のとおりです。
映像はH264、音声はAACでエンコーディングされます
Output Size:1920 x 960 (pixel)で使用しています
Stream URL:配信先のサーバーを設定します
Bitrate:送受信両側の帯域と画質のバランスから500btis/sにしてます
FPS: 30FPSにしてます
Vahana VRでできるのはパノラマライブストリーミングの配信(送出)までで、受信(表示)するビュワーは自分で用意する必要があります。当社ではまずはパノラマ動画共有プラットフォームであるPanoPlaza Movieのビューワーに対して配信を行うことで、パノラマ動画の表示を実現しました。将来的にはスマートフォンやOculus Riftのようなヘッドマウントディスプレイ(HMD)でも見られるように対応していきたいと思っています。
GoPro内部のマイクでRTMP配信を行うと音声が小さく出力されます。弊社では、音声を増幅する外部マイクを使用して配信先でも音声が聞こえる様に検討を行っております。また、RTMP配信では、映像と音声が同期しない場合があり、映像が数秒遅れて再生されます。
現状はスティッチが自動でしか行えず、カメラの設置環境によってはカメラの繋ぎ目がハッキリと確認できるためスティッチ状態を微調整できる機能が欲しいところです。また、画面全体の明るさ補正を行う機能がないため、今後のバージョンアップで機能追加を期待したいところです。
最近では、360camや超広角レンズを搭載したGoPro1台などでもライブストリーミングが可能になりつつあります。ここで紹介したGoProを6台使用する以外のもっとシンプルなカメラ構成でのストリーミングも実現されていくでしょう。また受信側も徐々にスマートフォンやヘッドマウントディスプレイでも表示できるようになりより一般化が近くなってくると思います。そうなるとパノラマライブストリーミングの応用先も講演系イベント、音楽系イベント、スポーツイベント、定点ストリーミングなどいろいろな例が出てくると思います。生中継は固定画角映像ではなく、全方位系バーチャルリアリティで見る時代が到来しそうです。