スタンドアロン版も開発中。サンプリング音源には不可能な演奏をリアルに再現するAI音源、Melismaがヴィオラや合唱にも対応し、さらに進化

Melisma開発者、神楽音楽出版の中迫酒菜さんインタビュー

Melisma開発者の中迫酒菜さん

－－Melismaのリリース時に記事で取り上げましたが、その後もどんどん進化してきているんですよね？
中迫：はい、リリース時はヴァイオリンとチェロ、オーボエの3つのみでしたが、それにヴィオラが加わったので、全部の弦が揃いました。通常の奏法のほかにピッチカート、トリル、トレモロ、ポルタメント、フォールにも対応しました。これをもって、おそらくポップスのストリングスはほぼ完ぺきにこなせると思っています。

－－ちなみに弦としてコントラバスが入ってないですが、これに対してはどうですか？
中迫：実はAIにとってコントラバスってちょっと生成が難しいんです。というのも、AIは情報量が多いほうが学習しやすいという側面があるのですが、コントラバスは音程が非常に低いから実時間に対して情報が少ない。そのため、しっかり学習できないんです。現在のMelsmaのバージョンはV5モデルなんですが、V4まではチェロですらちょっと苦手だったんです。V5はかなり改良を加えてチェロの音質向上が実現できたのです。まあ、情緒豊かなコントラバスはヴァイオリンと比較すれば需要は少ないですし、ポップスでコントラバスを使うことも少ないと思うので、まだしばらくは後回しにしようと思っています。

－－V5ということは、いろいろと改良を加えてきたんですね。
中迫：はい、奏法も増やしただけでなく、品質もかなり向上させました。また、生成時間も早くなっていますし、合唱に対応したのも一つの進化点です。Music XMLは歌詞情報も入れることができるので、これを利用して歌わせています。一方、そのMusic XMLには、各譜面ソフトごとに方言があり、当初はSteinbergのDoricoでうまく動作しないという問題がありました。しかし、その後Dorico側が対応してくれたおかげで、現在は動作するようになり、結果としてSibelius、MuseScore、LilyPond、Doricoなどで利用可能です。Finaleは私の周りにあまりユーザーがいなくて、細かな検証ができていませんが、これで問題があったという話は来ていないので、大丈夫だと思います。ちなみに、前回お話し忘れましたがMelsmaで生成される音はゲインステージング済となっています。もちろん一切エフェクトのかかっていない素の音なので、プロにとって使いやすい音源になっていると思います。

Melisma公式イメージキャラクター、魔法の力でどんな楽器も演奏できる魔法使いの女の子「メリスマ・ファブローネ」も誕生

－－ヴァイオリン、チェロ、ヴィオラと弦が揃ったわけですが、たとえばヴァイオリンひとつをとった時、これは1人の奏者の演奏を学習し、その演奏を再現しているわけですよね。毎回生成結果が違うとはいえ、その人の癖というか、演奏傾向は近くなるわけですよね？
中迫：その通りです。そのため、2人目の奏者を増やそうという計画をしています。実際、演奏してくれた奏者とも話をしたのですが、3人くらいあるといいよね、と。もしヴァイオリンで3人分くらいあると、3人を3本ずつ生成すると9人編成の音がよりいい感じになるだろう、と。もちろん、その前にフルートなど楽器を増やすことも行っていくので、一気にというわけにはいきませんが、3か月に1音源くらい増やせて行けたら…と思っています。

－－そして気になるのがスタンドアロン版についてです。これがどんなものになるのか、少しお話いただけますか？
中迫：現在はMusic XMLをサーバーにアップロードして生成する形ですが、スタンドアロンで手元で動作させられるものを現在開発しています。ここにあるのは、まだプロトタイプのプロトタイプといったレベルのものではありますが、動作するようにはなってきていて、ピアノロール画面で入力するUIを作っているところです。このピアノロール上にアーティキュレーションの情報や歌詞などを入力していく形です。

現在開発中のスタンドアロン版のUI

－－生成スピード的にはどうですか？
中迫：現状はリアルタイム生成ではないので、再生ボタンを押すと生成が始まります。この際、GPU搭載のマシンであれば高速に生成できるのですが、CPUベースだとかなり時間がかかってしまい、実時間程度を要してしまいます。なので、製品化する際、GPU必須とすべきなのか悩んでいるところです。

－－ここでいうGPUはNVIDIA限定ですか？
中迫：そこも悩ましいところです。NVIDIAに限ったほうが確実に速くなるし、開発もしやすいので個人的には限定にしたいのですが、困る人もいるだろうなと思っています。ただNVIDIAの場合CUDAをユーザーがインストールしなくてはならないという面倒さがある一方、ほかのGPUならWindows標準のDirect MLで動作するというメリットもあります。その辺も含めていろいろ検証中です。

－－ちなみにMac版というのはどうですか？
中迫：Mac版も一応出せるのですが、MacのGPUはまたちょっと違うため、まだしっかりした調査ができていません。まずはWindows版を作った上で、その後Macに対応させていく……という流れにはなりそうです。

10月にはスタンドアロン版のβテストを開始したい、と話す中迫さん

－－現状のMusic XMLであればWindowsもMacも関係なかったわけですが、スタンドアロン版になると機種の問題はどうしても出てくるわけですね。ちなみにスタンドアロン版でおMusic XMLは読めるのですか？
中迫：はい、スタンドアロン版のソフトの中にMusic XMLのパーサーが入っているのでMusic XMLを読み込むことは可能です。ただし、いま開発中のピアノロールのUIをつかったほうができることは多いんです。どうしても譜面では表現できないものもあるからです。たとえば楽器のモーフィングといったことがUIであれば可能になります。そう、ヴァイオリンの音からだんだんオーボエの音に変化していくとか、歌声がだんだんチェロの音に変わっていく……なんてことが可能になるのです。また将来的にはピッチ補正する機能も搭載しようかなと思っています。鉛筆ツールを使って行う形ですね。こういうのは譜面では表現できないですから。

－－スタンドアロン版の登場、とっても楽しみですが、スケジュール的にはどのくらいを考えていますか？
中迫：できれば10月ごろにはβ版をリリースしたいと思っていますが、もう時間がないので、急がなくてはいけませんね。このβ版に関してはβテスターの方を募集した上で、いろいろと使っていただこうと思っています。その際は現在ある音源すべてを使えるようにする予定です。その後、製品化したら、楽器ごとにライブラリーを販売するような形を検討しているところです。

ーーVOCALOIDとかSynthesizer Vなどと同じ形ですかね？
中迫：エディターを別売にするのではなく、ライブラリーを買ったらエディターというか本体が付属する形がいいかな、と考えています。個人的によく思っているのはKONTAKT音源を知人に勧めたら、「KONTAKTを持っていないので…」と言われるケースがよくあるので、ライブラリーを普及させる上での阻害になるんじゃないかと思っているんです。今後はサードパーティー展開もしていきたいと考えています。現在、Melisma用に「凪乃ヒマワリ」という今までの合成音声にはあまり無かったタイプの声質のバーチャルシンガーを作るプロジェクトが進行中で、現在開発を進めています。それとは別に公式からもソロボーカルを出す予定なので、いろいろな形でライブラリがそろってくると思います。

－－スタンドアロン版の登場、ますます楽しみですね。
中迫：もうしばらくかかるので、お待ちいただきつつ、現在もMuxic XMLで利用できるMelisma(β)は使えるので、ぜひ多くの方にご利用いただければと思っています。

－－ありがとうございました。