AI歌声合成最前線。NEUTRINOとはどう違うの？2月12日発売が決まったCeVIO AI対応の東北きりたんを一足早く試してみた

歌声合成の世界は、従来のVOCALOIDなどとは一線を画す、AI歌声合成に対応したソフトが次々と発表され、明らかに新たな時代に突入しました。その時代を動かすキッカケになったのが2020年2月に発表された「AIきりたん」でした。これは国の研究予算で作られた研究者向けの音声合成検証用データベースをディープラーニングすることで作られたAI歌声合成システムで、NEUTRINOというソフトを用いて、東北きりたん（CVは茜屋日海夏さん）の歌声を合成するというもの。その歌声のデモを聴き、そして私自身の手でも歌声合成させてみたところ、あまりにも人間的にリアルに歌うことには度肝を抜かされました。

それから1年。2021年2月12日に、東北きりたんのCeVIO AI版が発売されることになりました。この話を聞いて「あれ？すでにNEUTRINOがあるのにどういうこと？」、「NEUTRINOとCeVIO AIって競合するものじゃないの？」、「歌声は同じなの？それとも違うの？」……などなど疑問に思う方も多いのではないでしょうか？そのCeVIO AIのソングボイスとして発売される東北きりたんを、一足早く試すことができたので、実際これがどんなものなのか、NEUTRINOと何が違うのか、実際の歌声は同じなのか……などチェックしてみました。結論から言うと、使い方は大きく異なるし、歌声合成した結果もそれなりにハッキリした違いもありましたので、レポートしていきましょう。

CeVIO AI版の東北きりたんが2月12日に発売される

まずは2月12日に発売が決まったCeVIO AI版の東北きりたんの公式デモソングが公開されたので、聴いてみてください。

いかがですか？かなりリアルな歌声なのが分かると思います。この東北きりたんの歌声は、もともと国の予算＝国立研究開発法人科学技術振興機構（JST）の戦略的創造研究推進事業（さきがけ）の新規研究課題で作られた歌声データベースを元に開発されています。その経緯については、以前「AIきりたんの仕掛け人、森勢将雅准教授に聞く、AI歌声合成の世界で今起こっていること」という記事で詳しく紹介しているので、興味のある方はそちらをご覧になってください。

CeVIO AIソングボイス東北きりたんを一足早く使ってみた

この東北きりたんの歌声データベースは、国の予算で作られたものなので、研究者であれば誰でも入手することが可能なわけですが、SHCACHIさんという方がフリーウェアとしてAI歌声合成ソフトを作ったものがNEUTRINOです。その後、クラウドファンディングで東北イタコ（CVは木戸衣吹さん）のデータベースも作られたため、現在NEUTRINOでは、東北イタコのAI歌声合成も可能になっているのですが、その流れからも分かる通り、東北きりたんはNEUTRINOだけに閉じたものではないのです。

もともとAHSが『VOICEROID+ 東北きりたん EX』を販売していた

この同じ東北きりたんの歌声データベースを用いて、株式会社テクノスピーチがCeVIO AI用にディープラーニングさせて開発し、株式会社AHSが発売するのが今回のCeVIO AIのソングボイス、東北きりたんなのです。そう、もともと東北きりたんは、音声合成ソフト（歌声ではなく話す声を合成するソフト）のVOICEROIDのシステムとしてAHSが『VOICEROID+ 東北きりたん EX』を発売しているわけですが、その東北きりたんのソフトの第2弾という位置づけでAHSから発売されるのです。

CeVIO AIのソングボイスとして東北きりたんが発売されることになった

CeVIO AIがどんなソフトなのかについては、以前「AI歌声合成でさとうささらが人のように歌う！来年1～3月発売予定となったCeVIO AIを試してみた」という記事でも紹介しているので、そちらを参照いただければ、概要はつかめると思います。基本的には、ピアノロールで音符を入力するともに歌詞を入力すれば、歌ってくれるという誰でも簡単に使えるソフトです。

ピアノロールにノートを入力することで歌わせることができる

また「CeVIO AI版の結月ゆかりが1月29日発売決定。なぜCeVIO AIなのか、どうやって作ったのか、VOCALOMAKETSに聞いてみた」という記事で、結月ゆかりが1月29日にテクノスピーチから発売されることも紹介していましたが、東北きりたんはテクノスピーチからではなく、AHSが発売元になるわけです。

たとえば東北きりたんと結月ゆかりのソングボイスがインストールされていれば切り替えて使え、合唱させることも可能

ちなみに、システム構成としてはCeVIO AIというエディターソフトがあり、それに読み込ませるソングボイスとして東北きりたん、結月ゆかりが存在するわけです。この点ではVOCALOIDとも近い構成であり、将来的にはその他いろいろなソングボイスが発売される予定となっています。

ちょっと事情説明が長くなってしまいましたが、そんなこんなで、CeVIO AI版の東北きりたんが発売されることになったのですが、みなさんが気になるのは、NEUTRINOとの違いでしょう。

まずは、同じ歌をCeVIO AI、NEUTRINOそれぞれで歌わせてみたので聴いてみてください。このNEUTRINOはv0.420というバージョンのNSF版（GPUで合成させたもの）となっています。

kenfujimoto · CeVIO AI

kenfujimoto · NEUTRINO

まあ、CeVIO AIもNEUTRINOも同じ茜屋さんの歌声をディープラーニングさせたものなので、同じ傾向の歌声であるのは間違いありませんが、声質や歌い方のニュアンスはかなり違うことが分かりますよね。それぞれ別の手法でディープラーニングさせているので、歌声に違いが出てきているのですが、ダイナミクス（音量の強弱の付き方）、声の滑らかさ、そして歌い方と、いろいろ違います。もっともどちらがいいかは人それぞれ好みの問題だと思うし、曲によっても違ってくると思うので、一つの参考としてみてください。

ここでは「春の小川」の音符情報、歌詞情報をCeVIO AIに入力した後、MusicXMLデータを書き出してNEUTRINOに渡した

いずれも何の調整もしていない、いわゆるベタ打ち。手順としては、まずCeVIO AIのエディター画面で「春の小川」を入力して、CeVIO AIに歌わせました。その後、CeVIO AIのエクスポート機能を用いて歌詞を含む楽譜情報をMusicXMLデータとして書き出しました。そのMusicXMLデータをNEUTRINOのscoreフォルダにコピーし、ColaboratoryというGoogleの機械学習のシステム環境を利用してNEUTRINOを実行させ、合成させたのが、NEUTRINOでの歌声というわけです。

NEUTRINOはGoogleのColaboratoryを使って動かした

さて、ここでベタ打ちでの歌声の雰囲気の違いに加え、もう一つ大きな機能的な違いとなるのが、声質を変化させられるという点です。

CeVIO AIの声質パラメータを使うことで、東北きりたんの歌声の雰囲気を大きく変化させることができる

NEUTRINOでは、基本的に声質は一定となっているのに対し、CeVIO AIでは画面右側にあるパラメーターを調整することで、フォルマントを変化させることが可能となり、より太い声にしたり、子供っぽいカワイイ声にしたりすることができるのです。

曲の進行に合わせて声質パラメーターを動かすことも可能

また必要あれば、その声質パラメーターを曲の進行に伴い変化させていくことも可能です。実際に、先ほどの「春の小川」で声質を変化させてみたので、以下のビデオをご覧ください。

いかがですか？かなり違った歌声になっていくのが分かると思います。声質の変化が顕著な例ではありますが、CeVIO AIは、さまざまなパラメーターを細かくエディットして調声できるのがNEUTRINOとの決定的な違いといえると思いますし、その使い方が簡単だというのが大きなポイントです。

NEUTRINOを使うにはある程度のコンピュータスキルが必要

NEUTRINOも、昨年2月当初と比較すると、だいぶ使いやすくはなりましたが、ある程度コンピュータスキルがあり、プログラムの世界などに馴染みのある人でないと難しく、ハードルが高く感じられてしまうのは事実。まあ、フリーウェアですから、最低限の知識を持ったうえで取り組んでね、というのが前提ではありますが、万人が使えるシステムではないと思います。

タイミングやピッチの動きなど細かくエディットすることもできる