起動手順

画面中心にあるアイコンからPixotopeを起動

起動画面（START）にてプロジェクトを選択。Pixotopeにプロジェクトを読み込んでいない、もしくは新規作成する場合は、画面右上にある「Create new Show」を選択。

プロジェクトは、テンプレートから新規生成が可能。既存のプロジェクトが存在する場合は、そのファイルパス（.uproject）を指定する。このプロジェクトはUE4で生成も可能で、それをPixotopeで読み込めば自動的に対応する。

プロジェクトを選択したら、SETUP画面に移動する。ここにはプロジェクト内に存在するLevelがリストとして表示されているので、起動したいものを選択する。モードは「Editor　モード」と「LIVEモード」が存在する。Editorモードは主に編集やテスト用途で起動する。本番撮影の場合は、負荷の軽いLIVEモードで起動する。

プロジェクトファイル管理

プロジェクトファイル自体は通常のUE4と同様の構成なので、UE4の運用に準じた方法でよい。

Git管理

ファイルの差分情報を更新して管理する方法。ただしLevelやBlueprintはハッシュ管理されるため、ファイルの部分的な差分更新ができない。そのため、複数人で同じファイルを更新してしまうとコンフリクトが発生し、その場合はどちらか一方の変更で上書きするしかできないので注意。

フルバックアップ

プロジェクトフォルダをそのままコピーしておけば、フルバックアップとして保存できる。大きなデメリットはないが、内部のアセットそのものを複製するのでファイル容量には注意。

カメラ設定

センサーサイズ（Filmback）

FX6に積んであるセンサーは、いわゆる”35mmフルサイズ”と呼ばれる36mm x 24mmのセンサーで、比率は3:2となる。
SETUPのConfigureセクションにあるCamera trackingを開き、その中にある[Camera and lens]を開く。その中に[Filmback]セク/ションがあるので、ここでセンサーサイズを設定する。

要注意事項となるのが、WidthとHeightの設定値。ここに入力する値は物理的なセンサーサイズではなく、映像の比率に応じて使用するセンサー領域を入力する（要追加検証）。例えば、16:9の比率で動画を撮影する場合、使用されるセンサー領域は16:9に合わせて36mm x 20.25mmとなるので、その値をWidthとHeightに設定する。なお感光された情報を解像度に応じて分割すると思われるので、ここで気にするべきは比率のみでよい。

解像度（Resolution）

基本的には1080p (1920×1080) をベースに使用する。SDI出力が対応しているのであれば、2160p (3840×2160) も使用可能ではある。

フレームレート（FPS）

コンポジット映像のフレームレートにあわせて、カメラ側も設定する。基本的には30fpsか60fpsを使用する。ただしカメラ側は表記上と実際のfpsが異なり、30fps表記の場合は29.97fps, 60fps表記の場合は59.94fpsとなるので注意。

Pixotope上の入出力設定は、SETUP画面のVideo I/Oにて設定。

映像の同期

RedSpyと物理カメラの映像フレームは、それぞれ異なるタイミングで更新される。PIXOTOPEにてそれぞれに遅延を設定することで更新タイミングを合わせ、コンポジット（最終出力）映像の整合性を調整することができる。
ただし、それぞれの遅延は一定ではなく、また処理負荷の影響で更新タイミングが動的にズレてしまう。特に、例えばLevelやアセットのロード等によってPIXOTOPEにて一時的な高負荷が発生、それにフリーズが生じてしまうと、そのタイミングで実写とバーチャル映像のズレが変化してしまう。そのため、描画負荷は可能な限り一定に保ち、PIXOTOPEの描画FPSが実写とRedSpyのFPSを常に下回るように構築、設定する必要がある。

TCの活用

FX6ではTCを生成し、映像と一緒にキャプチャボードの映像端子経由でTCをPixotopeに参照させられる。TCをベースに同期させることで、カメラとCG映像のズレは概ね抑えることができる。カメラ側では、DF(Drop Frame)とNDF(Non-Drop Frame)の2つのTCモードを選択できる。通常使用するのは、後者のNDFとなる。
DFにした場合、TCをリセットしたタイミングではフレームが完全に同期しているように見えたが、時間経過に比例してズレが大きく様子が見られた。おそらくこれは、カメラ側のが29.97fpsもしくは59.94fpsであるのに対し、Pixotope側は30.0fpsもしくは60.0fpsという差異があり、カメラ側で意図的にフレームを削ってしまうことでカメラとPixotopeのフレームのズレがどんどん大きくなっていることが原因かと思われる。NDFの場合、経過時間に関係なくズレが変化する様子はなかった。

なおNDFでも発生するわずかなズレは、Genlockをかけていないことが原因と推測。TC + GenLockによって完全に一致させることが可能になると思われる。これを実現したい場合は両方の端子をもつ物理カメラが必要で、FX6にはGenLock端子がないことから、FX9が必要となる。
細かなフレームのズレは、Pixotope上で調整可能。これでほぼ一致した状態で撮影は可能となる。

Sync Generatorの活用

SyncGeneratorを使用してGenLockすると、より正確にフレーム同期が行なわれる。RedSpyには入力端子が用意されているが、物理カメラの場合は機種によっては対応していないことがある。Sony FX6には入力端子なし。
PIXOTOPEの場合、キャプチャボードのReference端子に入力する。その上で、DashBoardにて設定を行なえばフレーム更新タイミングを同期させられる。

Maskとシェーダの干渉

透過を含むシェーダがマスクの前に来ると、マスク越しの実写映像が描画されないことがある。

映像のノイズ対策

Liveモードの使用

処理負荷はEditモードよりもLiveモードの方が軽く、フレーム落ちのようなノイズも発生しにくい。映像を確認しながら調整を行なう場合はEditモード、本撮影ではLiveモードを使用すること。

キャプチャデバイスの選定

PIXOTOPEを動かすPCは極力負荷を落とすため、映像キャプチャと配信は別のデバイスで行なう。映像キャプチャはBlackmagic Video Assistのようなレコーダ搭載のモニター、OBSを積んだ別PC等に映像を伝送する。
Blackmagic Video Assist

コーデックの選定

コーデックによって記録処理の負荷が異なるため、キャプチャデバイスが耐えられるものを使用すること。一方で画質にも影響は出てくるので、コーデックの指定がある場合は性能の高いキャプチャデバイスを使用すること。

カラーマネジメント

ディスプレイ

PIXOTOPEでカラーコレクションを行なう場合、ディスプレイの色特性の影響を受けてしまうため、カラーマネジメントディスプレイを使用して設定すること。カラーフォーマットは後述に従う。

カラーフォーマット

基本的には成果物を見るであろうユーザのデバイスに合わせ、汎用的なディスプレイでも対応しているRec.709をカラーマネジメントディスプレイの色空間として設定する。一方で、例えば映画館のような鑑賞用の空間で成果物を投影するような場合、使用するディスプレイの特性が明確になっているのであれば、**HDR（Rec.2020など）**を設定してカラーコレクションを行なうことも可能。ただし、フォーマットが変更になった場合の影響が大きいので、カラーコレクションの実施前に確認しておくこと。
よくわかる、HDR徹底解説！　ガンマカーブの違い | EIZO株式会社

キーイング

Initialize Key

内部処理は詳しくわからないが、カメラ映像をベースにキーイングのベース設定を自動的に行う機能。
Setting Up A Chroma Key Material in UE4

その他のパラメータ

基本的には、一般的なクロマキー合成処理における調整パラメータと同じ。

キーワード

【映像関係】
TC: TimeCode
GenLock
SyncGenerator
カラーフォーマット
カラーコレクション / カラーグレーディング
ポストプロセス
SDI
カラーモニター
シネマカメラ
FPS: Frame Per Second
センサーサイズ

【エンジニアリング / VFX関係】
In-Camera VFX
TA: Technical Artist
LEDウォール
インナーフラスタム / アウターフラスタム
Pixotope
UE4: Unreal Engine 4
Unity
Virtual Production
RedSpy
キーイング
プリレンダリング / リアルタイムレンダリング
TouchDesigner
HTC VIVE Tracker
Volumetric Capture
Reality
Photogrammetry
Houdini

【Unreal Engine関係】
Pixotope
Megascans
Live Link
Niagara
Blueprint
nDisplay

【照明関係】
DMX
Art-Net
sACN
ムービングライト