AIによる楽器サウンド合成システム、Melisma(β)が爆誕。サンプリングでは不可能だったリアルさを実現

Melisma開発者、神楽音楽出版の中迫酒菜さんインタビュー

－－このMelisma、音を聴いてみて驚きましたが、どういう経緯で作られたのですか？
中迫：私自身は普段は作曲家として、ゲームなどの音楽を作っていて、クラシック向けの作曲や編曲も行っているほか、最近はVTuberのオリジナル曲などを作っています。一方、家に320種類の楽器があり、発音の仕組みや楽器の歴史を研究するなど楽器研究家でもあります。そうした作曲活動をしている中、KONTAKTをはじめとする、さまざまなサンプリング音源を使っているものの、スラーをつなげていくのは編集がとっても難しいな…とずっと思っていました。こうしたものも生成AIならうまくいくのでは……、とちょうどStable Diffusionが登場する少し前に思いついたのです。AIなら絵も描けるし、Synthesizer Vなどもあるので、できなくはないだろう、と。

Melismaの開発者であり、作曲家である中迫酒菜さん

－－とはいえ、中迫さんは作曲家であって、エンジニアというわけではないですよね。
中迫：ただ、趣味で小学生のころからポケコンをいじったり、マイコンを使って工作するなどしていたので、コンピュータはずっと慣れ親しんでいました。ただ、アセンブラやC言語など、比較的低級言語を得意にしてきた…というのはありました。がAIをやるにはPythonがいいらしい、というのを知り、それから勉強するようになったんです。試しにこれを使って取り組んでみたのですが、最初は全然ダメで、ノイズしか生成することができませんでした。が、ずっと続けていたところ、ある時を境に、突然うまく音が出るようになったんです。そこで、これはちゃんとしたデータセットを作らなくては、と思い立ったのが今年の4月でした。

－－それは、最近のAIで話題になっているような、野良データを学習させると権利的な問題があるからですか。
中迫：権利問題というのもそうなのですが、そもそもヴァイオリンなどは野良データすらないんですよね。AI学習に適した楽器のデータセットの研究も重要な項目のひとつでした。いろいろな奏法が均等に含まれている楽譜と、均一で上等な音質のレコーディングデータがあって、はじめてAI学習をうまくしていくことができるので、自分で作ろう、ということになったのです。大学も音大に行っていたし、こうした作曲の仕事をしていることもあり、気軽に頼むことができる奏者が周りに多いこともあって、友人のヴァイオリン奏者にお願いして、ここのスタジオに来てもらい、計101曲のレコーディングをし、トータル5時間28分26秒のデータセットを作りました。この100ファイルをひたすら学習させた結果、かなり実用レベルになったと思い、今回βテストの公開をすることになりました。ちなみに、このMelismaのビジネスモデルの特徴としては、奏者にも分配していく、という点があります。売上から必要経費を差し引いた上で、データセットの時間の割合によって売上金を分配していく予定です。奏者から仕事を奪うのではなく、うまく共存できる世界を作っていければと思っています。

Melismaのヴァイオリンの学習データの演奏をしている宇佐見優さん

－－実際音を聴いても、すごくリアルですよね。
中迫：そうですね。そのヴァイオリンに続いて、チェロ、オーボエもここでレコーディングしていきました。生成させてみると、音のつながりは非常にいいんです。ソロだと、やや頼りない感じがする面はありますが、弦楽合奏とかをさせると非常に迫力も出てきますね。ピッチカートとかトレモロとかのアーティキュレーションもきれいに弾くし、フォールなんかにも対応していて、すごくいい表現ができると思います。強弱も非常にリアルに演奏することができます。ボリュームでの強弱ではなく、表現としての強弱が出せるんですね。その指示は楽譜上で行い、クレッシェンドを入れると、それにしたがってだんだん大きくなっていくわけです。スラーやスタッカートなどの音楽記号についてはMIDIファイルだとどうしても難しいため、MusicXMLで書き出した渡す形になります。サーバーの負荷状態にもよりますが、30秒の曲を10秒ほどで書き出してくれますね。

同じくMelismaの学習データを演奏している志村樺奈さん（左）と小野江良太さん(右)

－－WAVファイルとMIDIファイルの2つが書き出せますが、このMIDIファイルのほうはどう使うのですか？
中迫：現状まだ実装できていないのですが、今後ピッチデータの修正にこれを使えるようにします。このMIDIファイルにはピッチの揺らぎが記載されているので、これをDAWで編集した上で戻すことで、修正できるようになる予定です。

生成した結果、WAVファイルとMIDIファイルのそれぞれがダウンロードできるようになっている

－－MusicXMLって、結構方言があって、互換性についてよく問題が指摘されていますが、このMelismaの場合、どうですか？
中迫：まだ検証途中で、とりあえずSibeliusとMuseScoreでは問題なく動作しています。Finaleについてはまだ未検証で、Doricoについては少し不具合が出ているので確認中です。
※2023.12.19追記
Dorico 5.1では正しく動作することが確認できました。

－－ロングトーンだけでも、サンプリング音源にはできない音が生成できることがよくわかりますが、Melismaならではというような表現はあるのでしょうか？
中迫：MusicXMLでは途中で楽器を持ち替えることが可能です。普通は区切りを経て持ち替えるわけですが、ロングトーンの途中で持ち替えることができるため、モーフィングさせることができます。現代音楽や新しい音響を求めている人には面白いのではないでしょうか？今回は公開していませんが、ボーカルを学習させて歌わせることもできました。こうすることで、ボーカルとヴァイオリンのモーフィングといったこともできました。また、AIが想像するピッチシフトというのもあります。いわゆるピッチ補正やピッチシフトではなく、たとえばスコアをそのまま1オクターブ下げるという指示をすると、AIが生成途中に音程を下げてくるので、まったく新しい音色での演奏がされるんですよ。

－－今回、開発応援ということでいくつかのプランがありますが、長時間を利用したいケースというのはどんなときになるのでしょうか？
中迫：弦楽合奏の場合、アンサンブルだと複数の演奏が必要となります。たとえば3分の曲を書き出すのに1stヴァイオリンが8人だとすれば、それだけで24分。それが4パートあれば96分……と結構な時間を食うことになるので、それなりの時間が必要になると思います。このMelismaでは何回やっても絶対に違う結果が出てくるのも特徴です。それを重ねていくことで厚いサウンドを作り出すことが可能です。なおまったく同じものを作りたいときにはランダムシードというパラメータがあるので、それを使えば同じものを生成することは可能になっています。

自宅に320種類もの楽器があるという中迫さんは自身でもそれぞれの楽器の演奏をする

－－今後のMelismaの展開などについても教えてください。
中迫：まずはみなさんに使っていただきながら、成長させていきたいと思っています。またデータセットも増やしていく予定で、フルートのレコーディングが来年1～2月に控えているほか、バリエーションとして別の奏者によるヴァイオリン、さらにヴィオラも開発に向けて動いています。一方でボーカルについても対応できるようにしていきたいと考えています。一方、ユーザーが増えてきたときに対応できるよう、AWSサーバーを使ってのスケーラビリティについても準備してあります。ただ、将来的に、各ユーザーがスタンドアロンで使いたい…ということになれば、それへの対応というのも検討してきたいですね。

－－ぜひ、今後の展開を楽しみにしています。