DTMの世界を大きく進化させるイマーシブオーディオと360 Reality Audioの世界

最近、いろいろなところで話題に上がるようになってきたイマーシブオーディオ。名前だけは聞くけれど、いま一つよくわからない……という人も少なくないと思います。一言でいえば立体的に音を表現するオーディオの世界を表しているのですが、昨今のテクノロジーの進化もあり、従来のサラウンドサウンドとは一線を画すものであり、スピーカーによる再生だけでなく、ヘッドホンでも立体的に聴くことができるようになったのが大きな特徴でもあります。

そのイマーシブオーディオには、Dolby AtmosやAuro-3Dなど、いくつかの規格が存在していますが、ヘッドホンでの再生において優位に立っているのがソニーが開発した360 Reality Audioです。ヘッドホンからの音なのに、前後左右はもちろん、上からも下からも、まさに自分を取り囲むすべての方向から音が聴こえるようになっているのです。そこで、これから連載する形で360 Reality Audioについて取り上げ、DAWを使ってどうすればイマーシブオーディオサウンドを作ることができるのかを見ていきたいと思います。その第1回目である今回はそもそもイマーシブオーディオとは何であり、360 Reality Audioがどんなものなのか、簡単に紹介してみましょう。

ステレオサウンドと異なり、自分を取り囲むすべての方向から音が聴こえる360 Reality Audio

イマーシブオーディオとは、従来の2chステレオの音源から、さらなる臨場感を表現するために生み出された5.1などのマルチチャンネル音源や今回紹介する360 Reality Audioをはじめとするオブジェクトベースの音源の総称です。その360 Reality Audioは一般的なステレオ、さらにチャンネル数が増えたサラウンドとはだいぶ考え方、制作方法が異なるものとなっています。各楽器の音をオブジェクトとしてとらえた上で、立体音響空間に配置していくのです。この際、ギターの音は左、ピアノの音は右、サックスの音は正面上方向……などと配置していくことはもちろん、ベースは後方左の下に、というように自分よりも低い位置を含む天球にオブジェクトを配置できるのも大きな特徴となっています。

それを再生する際には、各再生環境にマッチする形で最適化してくれるのも360 Reality Audioの大きな特徴です。一般的な2chのミックスであればWAVファイルに落とし込んでいくのに対し、360 Reality AudioはMPEG-Hに書き出す形となっています。このMPEG-Hの中には各オブジェクトの音データとともに、それぞれの位置情報が格納されていて、リスナーの再生環境に合わせ、リアルタイムに再生音を演算しているのです。中でも注目すべきはヘッドホンでも、もとの位置情報を再現して再生する技術をソニーが開発したこと。これにより何十個ものスピーカーがなくてもヘッドホンだけで、包み込まれるような音を体験することができるのです。

ここで以下のビデオをヘッドホンを装着して聴いてみてください。

どうですか？明らかにステレオのサウンドとは違うことを感じられたと思います。これは声優3人によるユニット、イヤホンズの作品であり、360 Reality Audioの技術を用いた音源となっています。これを聴いてみて「すごく立体的に聴こえる」という人と、「広がりがある音には聴こえるけれど、そこまで立体的だろうか？」と感じる人など、感じ方に差が出ると思います。実際に360 Reality Audio本来の作品を体験するときは、後述する360 Spatial Sound Personalizerという個人最適化技術を使って、各リスナー個人ごとにマッチした音にすることで、立体的な表現が可能になります。

ここからはちょっぴり専門的なマニアックな話になりますが……。人間は2つの耳しかないのに、どうして音を立体的に捉えることができるのでしょうか？左右の音を聴き分けられるのは当然として、なぜ前からの音や後ろからの音、上からの音を認識できるのか、とっても不思議です。

人間の耳って人によってかなり形は違い、耳が寝ている人、立っている人など色々。外から見える部分だけでも、耳たぶや隆起が異なります。普段、人間が聴いている音は、その人自身の耳の形をよって反射した結果が鼓膜に届いた音なのです。それらと実際の音の位置を経験的に結びつけているので音の立体的な方向を認識できるのです。そう考えると人間の認知能力って、すごいですよね。

耳の形だけでなく、頭の形状や顔の形なども違うから、同じ音を聴いたとしても、実際に鼓膜に伝わる最終的な音は、人によって全然違うといっても過言ではありません。そんなことを研究している人たちが生み出したのが

HRTF（Head related transfer function）＝頭部伝達関数

というもの。つまり音源が、その人の鼓膜直前に伝わる音にどう変化するか、を関数として表すものです。当然、人によってHRTFは大きく異なるので、自分のHRTFが計測できれば、かなり立体的な音として聴こえるようになるはず。それを追い込んで実現してくれるのが、360 Reality Audioなのです。

本来、個人個人のHRTFを導き出すには、耳の中にマイクを設置し、正確に測定、分析することが必要となります。が、それを一般リスナーが実現するのは容易ではありません。そこでソニーは、数多くのHRTFと耳の形の情報をもとに、耳の写真からHRTFを推定するアルゴリズムを開発したのです。

スマホアプリを使い、自分の耳を撮影

ソニーのスマートフォン向けアプリ、Sony | Headphones Connectでは左右の耳の写真を撮影し、サーバーにアップロードし解析することで、個人のHRTFを推定。それを設定することで個人それぞれの聴覚特性に合わせて360 Reality Audio対応のコンテンツを再生できるようになっているのです。

撮影した耳の写真をアップロードすると、クラウド上でアナライズして自分に最適化してくれる

360 Reality Audioの個人最適化にはこうした準備が必要ですが、その立体感を実現するクオリティーという面では、Dolby Atmosを使ったAppleの空間オーディオを圧倒すると私自身は感じています。ちなみに冒頭で紹介したイヤホンズによるYouTubeコンテンツは、個人に最適化したHRTFではなく、平均的なHRTFをもとにしてヘッドホン向けに再現した音源を使っているようです。

個人に最適化することにより、通常頭の内側に定位して聴こえるヘッドホンのサウンドが、外側に広がって聴こえるようになる

ところで、この360 Reality Audioは、必ずしもヘッドホンを使って再生するだけではないのも面白いところです。ご存知の方もいると思いますが、360 Reality Audioに対応したスピーカーといものがあり、ソニーからもHT-A9、HT-A7000などが発売されています。

HT-A9は4つのワイヤレススピーカーでリスナーを囲んで360 Reality Audioのサウンドを実現する

いわゆるホームシアターシステムで、HT-A9は4つのセパレート型のワイヤレススピーカーを配置して使うタイプ、HT-A7000はサウンドバーと呼ばれるテレビの下などに設置するスピーカーで壁や天井の反射を利用した独自の立体音響技術で360 Reality Audioの立体感のあるサウンドを表現する機種です。また、別売りの2つのリアスピーカーやサブウーファーを組み合わせることで、より臨場感のある音場を再現することができます。

サウンドバータイプのHT-A7000は天井や壁の反射音を利用した独自の立体音響技術で360 Reality Audioのサウンドを実現する

そんな360 Reality AudioをなぜDTMステーションで連載するのかというと、もちろんそれはこうした立体サウンドをDTMで作ることが可能になったからです。そう、360 WalkMix Creatorというプラグインを利用することにより、Cubase、Studio One、Logic Pro、Ableton Live、Pro Tools……といったDAWで立体的なサウンドを作っていくことができるのです。

これまでの音楽制作は、2chのステレオにミックスダウンするのが常識でしたが、それとはまったく違うミックスの仕方が登場してきたわけで、出来上がるサウンドの世界も大きく変化します。

そこで、個人のDTMユーザーがどうすれば360 Reality Audio作品をミックスできるようになるのかを、これからケース別に紹介していく予定です。ぜひ、360 Reality Audioを使った立体的なサウンドの世界を楽しんでみてください。