2019/02/27

ZOOM H3-VRとRICOH THETA SCを組み合わせ、360度動画に音も追従するミュージックPVを作ってみた！

Cubase ネット配信・ビデオ作成マイク・レコーディング

昨年の楽器フェアで見かけて使ってみたい……と思っていたZOOMの変わった形のレコーダー、H3-VR（実売価格35,000円前後）。これは360度で音をレコーディングできるというVRマイクを搭載したハンディータイプのリニアPCMレコーダーです。これを360度の動画撮影ができるRICOHのTHETA SCと組み合わせてミュージックPVの動画撮影をしてみました。

その動画撮影に協力してくれたのは、これまで何度かDTMステーションにも登場しているTRANCE系アイドルグループのd-girls。いつもDTMステーションPlus!の番組放送に使わせていただいている音楽学校メーザーハウスのリハーサルスタジオをお借りし撮影してみました。これは歌もダンスも失敗が許されない、編集なしの一発撮影・録音。実際にできあがったものを見てみると、まさに360度グリグリと回しながら楽しめるこれまでにあまり見たことのないミュージックPVとなりました。そう単に映像が回るだけでなく、それに音も一緒についてくる立体的なサウンドを楽しめる動画になっているのです。実際、何をどうやって作ったのか、その手法について紹介してみましょう。

H3-VR(下)とTHETA SC（上）を使ってアイドルd-girlsのPVを撮影・録音してみた

まずはともあれ、作成してみた360度のミュージックPV、d-girlsの「stream」をYouTubeにUPしてみたので、ご覧ください。

いかがですか？YouTube画面を動かすと360度映像が回り、音もそれについてくるのが分かると思います。ステレオのスピーカーでも分かりますが、ヘッドホンを使ったほうがよりリアルに空間を感じられると思います。

衣装時の撮影し忘れ、着替え後の貴重な(?)記念撮影(汗)、左から霞さん、由奈さん、よしみさん、千花さん、めいさん

d-girlsのメンバーは、杉本よしみ(@yoshimi_1106)さん、瀬戸千花(@seto_chika)さん、斉東由奈(@saito_yuna)さん、こだま霞(@kdm_kasumi)さん、百瀬めい(@_momose33)さんの5名ですが、ビデオを見てもわかる通り、ここで歌っているのは、よしみさんと千花さんの二人。リバーブも一切かけず、そのままの生声・生歌をVR-H3のマイクで拾っているんですよね。回してみると、二人の歌声の位置が映像に追従する形で変わっていくのがよく分かると思います。

H3-VRのマイクでボーカルもPAから鳴るオケも直接レコーディング

バックに流れている、このオケはPAから出しており、2つあるステレオの黒いスピーカーから鳴っているのが感じられるでしょう。その音をそのままH3-VRで録っているわけです。d-girlsの楽曲の中では、比較的静かで動きの少ない曲を選んでもらったのですが、それでも足音が少し入っているのも分かりますよね。

4方向に向くマイクで音を立体的に捉えている

また何度かリハーサルをしていて分かったのは、マイクやカメラに近い距離で歌って、踊ってもらったほうが、よりリアルに捉えられるという点。ただ、そうするとスカートの動きから発生する風圧でマイクにノイズが乗ってしまうため、屋内でのレコーディングではありましたが、H3-VRに付属のウィンドスクリーンを被せての録音となりました。

本番ではマイク部分にウィンドスクリーンを取り付けてレコーディングすることに…

一方、THETA SCはH3-VRに合わせて、昨年末に22,000円で購入したもの。360度カメラとしては、もっと高機能、高画質のTHETA VやInsta360 ONE Xなどもあったのですが、初めての実験でもあったので、一番手ごろなものを購入。結果的には、やや画質が落ちるな…という面はありましたが、これでも十分その雰囲気は伝わりますよね。

最後まで録画できていなかったので動画編集ソフト（ここではVegas Pro 16）でフェードアウト

ちなみに撮影終了後に一つ大きなミスに気付いたので、先に白状してしまうと、このTHETA SC、デフォルトでの撮影時間が5分となっていて撮影スタート後、5分で止まってしまうのです。設定を変更すればもっと長時間撮影できたのですが、後の祭り。d-girlsのみなさんには、フルコーラスで歌って、踊ってもらったのですが、やむなく最後のほうをフェードアウトして終わらせています。ごめんなさい。

せっかくの360度の動画ということなので、同じセッティングでd-girlsのみなさんに自己紹介などもしてもらったので、こちらの動画もご覧ください。

トークだと、さらに音の立体感がありますよね。喋っている人をグルグルと追ってしまいますが、それ以外のメンバーがどう反応しているのかを見るのもちょっと面白いところ。このシステム、お気に入り一人を追いかけることができるわけだし、まさにアイドルグループの撮影用にはピッタリな気がしますね。

でも、もう少し具体的に何をどうしているのかを解説していきましょう。このH3-VRという機材は4つの方向を向くマイクで360度からの音を捉えるAmbisonicsマイクと呼ばれるもの。この4つのマイクで捉えた音を44.1kHz/16bit～96kHz/24bitのリニアPCM＝WAVで録音することができるようになっています。ここでは48kHz/24bitを選択してみたのですが、その録音モードが5種類用意されているのが、最初ちょっと難しいところ。具体的には

Fuma
AmbiX
Ambixonics A
ステレオ
バイノーラル

のそれぞれ。ごく普通のステレオサウンドで録音するなら「ステレオ」、ステレオでありながらも、ヘッドホンで聴くと立体的に感じられるのが「バイノーラル」ですが、残り3つは、後で360度グリグリ動かしたり、定位を調整することができるモード。どれを選んでもいいのですが、ここでは最近のシステムでもっともよく利用されているAmbiXを選択しました。

下向きに取り付けると、重力センサーが感知し、液晶ディスプレイも天地が逆さまになる

ところで、先ほどからの現場写真を見てもわかる通り、このH3-VRが下向きに、THETA SCが上向きになって三脚に取り付けられていましたが、H3-VR内部にはセンサーが入っていて、どちら向きになっているかを自動的に判別する仕組みになっているんですね（手動で設定することもできますが）。また、THETA SCなどの360度カメラとセットで使えるように、デュアルマウントアダプタなるアクセサリも標準で付属してますよ。

H3-VRに付属のデュアルマウントアダプタ

単3電池2本で駆動し、microSDカードにレコーディングしていくH3-VR。ヘッドホン端子で入ってくる音をモニターしつつ、マイクの入力ゲインの調整ノブで最適なレベルにした上でレコーディングスタート。それと同時にTHETA SCのほうも録画スタートさせます。そう、この2つの機材を同時に使うとはいえ、特に同期システムがあるわけではなく、単に同じ位置、同じ方向に向けて、録音スイッチ、録画スイッチをそれぞれ押すだけなんですね。それぞれ正面の方向があるので、そこを合わせるのがミソでもあるんです。

底蓋を開くと、ここに電池とmicroSDが入るようになっている

当日行ったのは、それだけ。ただ問題はそれぞれの機材で録ったものを、どうやって合成し、YouTubeにUPするか、という点でした。ZOOMのサイトに行っても、その辺の詳細が記載されていないし、ネット上で検索してもまったく見つけられなかったんですよね。そこで、音楽・映像クリエイターでライターの大須賀淳さんに連絡し、どうすればいいのか、少しアドバイスをいただいた結果、なんとかできたので、その流れを紹介してみましょう。

THETA SCで撮影した映像は全天球イメージというものになっている

まずTHETA SCで直接録画した結果は2つの魚眼レンズによる「全天球イメージ」と呼ばれる映像であり、そのまま使うことができません。RICOHが配布しているRICOH THETAというソフトを使って、PCで360度回転させることが可能な映像データに変換します。それなりに計算処理が必要なため、私が使っているCore-i7 8700という6コアのCPUでも実時間以上かかりますね。

RICOH THETAというソフトを使って普通にPC上で360度回せる動画に変換

この変換したデータも前後に不要な部分があるので、トリミングが必要です。ファイル形式としてはMP4となっていますが、360度の情報がかなり特殊な映像のようなので、どう扱っていいのかが分かりません。そこで大須賀さんに聞いたところ、特殊な部分は、単にメタ情報だけなので、MP4が扱える編集ソフトであれば何でもOKとのこと。そこで、以前購入したMAGIXのVegas Pro 16を使って不要部分をトリミングするとともに、前述の通り最後が5分で途切れているため、フェードアウトするようにしました。なお、書き出しの設定としては元のTHETA SCの画面サイズをキープする形で、1920×960で、フレームレートは29.97というちょっと特殊なものに手動で設定しています。

編集した結果を1920×960のサイズのMP4で書き出し

ではオーディオはどうするのか？こちらは前述のとおりAmbiXというデータ形式になっていますが、これはAmbisonics Bフォーマットのひとつ（もう一つがFumaです）。これも実はWAVファイル的には単に4chのもので、メタ情報によってAmbiXと定義されているだけだから、単にトリミングするだけなら、どんなソフトでもよさそうです。

H3-VRで録音したAmbiXデータをCubase Pro 10で編集

とはいえ、ここではAmbiXに正式対応しているCubase Pro 10を使ってみました。詳細は割愛しますが、オーディオトラックを1st Order Ambisonics（一次Ambisonics）に設定した上で、H3-VRのデータを読み込み、トリミングやフェードアウト処理などを行います。

オーディオトラックの構成は1st Order Ambisonicsに、出力はStereo Outにしておくと…

この際、Cubaseの出力を通常のStereo Outにしておくと、自動的にバイノーラルデコーダが設定されるので、ヘッドホンで音を360度グリグリ動かしてモニターすることが可能です。ただし、ここではまだ映像は連携してないので、X軸、Y軸、Z軸（Yaw、Pitch、Roll）を動かすという形ではありますが…。

自動的にセットされるバイノーラルに変換するAmbiDecoderが機能する

問題は、編集した結果をどうやってAmbiXのまま出力するか。これはダミーでいいので一次Ambisonicsのバスを作っておき、これをオーディオトラックに設定。その上でオーディオの書き出しをすればいいんですね。

ダミーでいいので、出力バスとして1st Order Ambisonics Outを設定しておくのがポイント

ちなみに、やや音量を控えめにレコーディングしたこともあり、再生した音が小さかったので、Cubaseのノーマライズ機能を用いて音量を持ち上げてみました。が、どうもこれによって4つのマイクのバランスが狂ってしまうようで、立体感がおかしくなってしまいました。なので、ここではノーマライズは使わず、少し音量をUPする形で対処しました。

これでCubaseから書き出すとAmbiXフォーマットのWAVファイルが生成される

これで素材の準備は整ったわけですが、問題はこれをどうやって、くっつけるのか、という点。実はそのためのツールをGoogleやFacebookが無料で公開してくれているんですね。YouTubeにUPするためなのでGoogleのツールを使うのが普通なのかもしれませんが、たまたまFacebookが公開しているFB360 Encoderというツールを先に見つけてインストールしたので、今回はこれを使いました。これ、VST版とかAAX版というものがあり、DAWのプラグインとしても使えるっぽいのですが、よく分からなかったので、そちらは使っておらず、今回はスタンドアロンで利用しています。

FB360 Encoderで出力フォーマットをYouTubeに設定

またWindows版をインストールして使ってみると、これだけでは動作しないようで、PythonおよびMP4Boxなるソフトが入っている必要があるようだったので（いずれもフリーウェア）、これらもインストールしてから作業に取り掛かりました。

ここでの目的は、先ほど作成したMP4の動画とAmbiXのWAVファイルを合体させること。出力フォーマットとして「YouTube Video(with 1st order AmbiX)」を選択できるので、これを選んだ上で、SPATIAL AUDIOは「B-format(1st order ambiX)」を選択し。またVIDEOはデフォルトの「MonoScopic」を選んでおきます。

読み込むオーディオとしてはAmbiXを指定

その上で、先ほど作ったMP4ファイルとWAVファイルを読み込み、「Encode」ボタンを押して書き出しファイル名を指定すれば、これで完成です。書き出したファイルはMP4ファイルとなっていますが、Windowsのプレイヤーで再生すると見事360度動画として再生され、ちゃんと音が付いてきてくれますね。

エンコード結果のMP4はWindowsのプレイヤーでも360度再生できる

ただ、ここまでの手順で「おや？」と思った方も多いと思いますが、映像と音を同期させる手段がまったくないのです。いわゆるカチンコという方法で、同期させる音は録音しておいたのですが、動画と音を別々に編集しているから合わせる術がありません。仕方ないので、この辺はやや手探り。THETA SCでも音は録っているので、その音を聴きながら、ここだというところでトリミングし、Cubase側でも同じところでトリミング。その上で、FB360 Encoderで合体させてズレていたら、Cubaseでのトリミングを調整しなおして再度合体…という試行錯誤を繰り返して作ったのがこのビデオなんです。

とはいえ動画編集ソフト側でトリミングするのが効率がよさそう

もっとも、Vegas Pro 16も含め、多くの動画編集ソフトでH3-VRのAmbiXのWAVファイルを読み込むことは可能なので、カチンコを利用しつつ、ここで波形を同期させてトリミングするほうが効率がいいかもしれません。必要に応じてトリミングした結果をCubaseなどに読み込んで、そこで改めて波形を合わせるというのも手ですね。今回試していませんが、大須賀さんによれば、Adobe Premier ProやFinal Cut Proなどはメタ情報の編集も可能とのことなので、より効率的に作業できるのかもしれません。

あとは、普通にYouTubeにUPすれば、自動的に360度動画として認識され、誰もがグリグリ動かせるようになったのです。まだ、多少手間がかかるのは事実ですが、実売価格が35,000円程度のH3-VRと22,000円前後のTHETA SCだけで、こんな面白い動画が作れるのですから、すごい時代になったものですよね。ぜひ、今後面白い作品がいっぱい登場してくれるといいな、と期待しているところです。

【価格チェック】
◎Rock oN　⇒　H3-VR
◎宮地楽器　⇒　H3-VR
◎Amazon　⇒　H3-VR
◎サウンドハウス　⇒　H3-VR
◎Amazon　⇒　THETA SC
◎ソースネクスト　⇒　Vegas Pro 16 Edit