自分の歌声を元に簡単にAI歌声データベースの作成も可能。海外からやってきた歌声合成ソフト、ACE Studioがスゴ過ぎる！

VOCALOID、Synthesizer V、CeVIO AI、VoiSonaなどさまざまなAI歌声合成ソフトが競い合いながらここ数年で飛躍的な発展を続けていますが、ここにトンでもない威力を持つ高性能なAI歌声ソフトがやってきました。アメリカ・中国・フランスなど国のメンバーが集まるテクノロジー・ベンチャー企業、TIMEDOMAINが開発するACE Studioという、Windows/Mac用のソフトです。完全に日本語対応したソフトであるとともに、日本語の歌声データベースも多数備えており、生成された歌声は日本人の人間が歌っているものと聴き分けられないレベルのものになっています。

ただ、既存のAI歌声合成ソフトと大きく異なることが3つあります。まずは年額24,000円または月額3,500円というサブスク料金を支払うと、現在44種類ある歌声データベースすべてが利用できるという点。2つ目は歌をレコーディングしたデータをアップロードするとそれをシステムがディープラーニングするとともに、自分オリジナルの歌声データベースを作ることができ、それ以降はその歌声で自在に歌わせることができる、という点。そして3つ目は、自分で作った歌声データベースも含め、用意されている44種類の歌声データベースを自在にミックスしたオリジナルの歌声データベースを生成できる、という点。このミックスというのは声質や歌い方の特徴をAI的にミックスするものであるため、まさに世の中に存在しないバーチャルな人間を作り出して歌わせることができるのです。そんなACE Studioを少し使うとともに、実際にオリジナルの歌声データベースを作って歌わせてみたので、ぜひ紹介していきましょう。また開発元のTIMEDOMAINにメールベースでいろいろとインタビューしてみたので、そちらもぜひご覧ください。

強力なAI歌声合成ソフト、ACE Studio

小岩井ことりさんによる『No.7』の歌声でAIデータベースを作って歌わせてみた

ACE Studioを初めて知ったという方も多いと思うので、まずはその歌声をちょっと聴いてみてください。

これ、すごくないですか？実はこの歌声、まさにACE Studioを初めて使ったその日に、サクっと作ったオリジナルの歌声データベースを使って歌わせたもので、リバーブを含めエフェクトなど一切かけていないもの。種明かしをすれば、声優の小岩ことりさんの歌声を学習させた歌声データベースを使って歌わせたものなのです。

正しくいうと、以前「小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ」や「小岩井ことりさんの歌声を人工知能で完全に実現!? 本人も自分そのものと認めるソフト完成への裏舞台」という記事でも紹介した『No.7』として研究用に公開した歌声をACE Studioサイトにアップロードして作ってみたのです。その詳細は後ほど解説しますが、簡単にそんなことができてしまうんです。

さらに試してみたのは、この小岩井さんによる『No.7』の歌声データベースを、ACE Studioの別の中国語シンガーであるTang Qingyueとミックスした歌声データベースを作ってそのデータベースで同じ曲を歌わせたものです。

いかがですか？ミックスといっても、ミキサーでのミックスではなく、歌声の声質をAI的に合成するとともに、歌い方の特徴をミックスしているのですが、小岩井さんの『No.7』的な特徴を少し持ちつつ、明らかに違う歌声になっているのが分かると思います。こんなことが簡単にできてしまうのがACE Studioなんです。

まずは無料で使えるACE Studio

ご存じの方も少なくないとは思いますが、実はこのACE Studio,最近突然誕生したソフト、というわけではありません。私もその存在を、1年ちょっと前に作曲家の多田彰文さんから聞いて、実際に歌わせたデモも聴いたこともありました、多田さんの話によれば、東京スクールオブミュージックの生徒のみなさんの間で流行っていて、多くの人が使っているとのことでした。

当時はオープンβという位置づけで無料だったこともあり、飛びついていた人も結構いたようです。が、その後、いろいろと機能・性能がブラッシュアップするとともに、前述のオリジナルデータベース作成機能が登場したことで、有料化されるとともに、正式リリースとなったようですね。

そのACE Studio、アーティストプランとアーティストProプランという2つがあり、それぞれ年額でいうと24,000円と32,000円。月額だと3,500円と4,700円となっています。が、いきなりその金額を払わなくても、とりあえず14日間は無料で使えるというのが嬉しいところ。実際私もアーティストプランのほうを月額として選びつつ、14日間無料という形でスタートさせたのです。

手順としては、まずACE Studioのサイトに行って、Windows版かMac版か、いずれかのインストーラをダウンロードして、インストール。起動するとログイン画面が出てくるので、「アカウント作成」をクリックして、アカウント作成を行います。

この際、クレジットカード情報が必要となっていて、14日間使い終わると課金がスタートする形になっています。ただし、14日経過する前に解約すれば、課金されない、というよくあるパターンですね。クレジットカードを持っていない人だとそもそもアカウントを作ることができないので、その点はご注意ください。

使い方は既存の歌声合成ソフトとほぼ同じ

アカウントができたら、改めてログインして起動させるとACE Studioの画面が開きます。

ここからはVOCALOIDやSynthesizer V、CeVIO AI、VoiSona……といった歌声合成ソフトを使ったことがある人なら、まったく違和感なく、マニュアルなど見なくてもすぐに使えると思います。ちなみに、オンラインマニュアルは日本語のかなり充実したものも用意されていますよ。

日本語マニュアルもかなりしっかりできている

ざっと説明すると画面上部がトラック画面となっていて、Singer TrackとAudio Trackを設定することができます。Singer Trackは歌わせるためのトラックで、Audio Trackはカラオケなどを置くトラックですね。また、ほかの歌声合成ソフトでは見かけなかったコードトラックというものもあり、コード指定するだけで、簡単な伴奏が作れるのは便利なところ。DAWを使ってない場合など、役に立ちそうです。

簡単に伴奏を鳴らすことができるコードトラックも装備されている

このSinger Trackには歌わせたいシンガーを設定するのですが、画面左側にズラリと並ぶ公式シンガーのアイコンを選び、Singer Trackへドラッグ＆ドロップで持っていけばOKです。

シンガーを選んで、シンガートラックへドラッグ&ドロップ

その後、トラックをクリックするとクリップが作られ、画面下部にピアノロールエディタが現れるので、あとはここにマウスでポチポチと音符を入力するとともに、ひらがなで歌詞を入力していけばいいのです。

ピアノロールに音符と歌詞を打ち込んでいく

またピアノロールエディタの下のほうには呼吸音、ブレス、ファルセット、テンション、ダイナミクス、フォルマントというタブが用意されており、これを使うことで、歌わせ方をコントロールすることもできるようになっています。

なお、ACE Studioは基本的にスタンドアロンで動くソフトですが、DAW用のプラグインとしてACE Bridgeというものが入っており、これを使うことでDAWと同期させたり、DAWのプラグインのようにしてACE Studioを使うことができるようになっているのは、Synthsizer Vなどと基本は同じですね。

VST、AUのブリッジプラグインを使うことでDAWとの同期・連携が可能になる

日本語シンガーだけでなく、英語シンガー、中国語も日本語の歌唱は上手で違和感なし

そのズラリと41種類ならぶ公式シンガー、見てみるとKuro Bosuku（黒昴宿）、Rokka（留音ロッカ）、Akesato（緋惺）、Trine（トリン）…とUTAU音源などとしてみたことのあるキャラクタが並んでいます。こうした音源の歌声をディープラーニングしたシンガーなので、まさに日本語のシンガーとして、非常にキレイに歌わせることが可能になっているんです。

UTAU音源のシンガーがいろいろ揃っている

これらはアイコンの右肩にJAという文字が入っていて、日本語シンガーだとわかりますが、ほかにもZHと書かれた中国語シンガー、ENと書かれた英語シンガーもあり、それらを合計して41種類となっているんです。

中国語シンガーも英語シンガーもまったく違和感なく上手に日本語で歌ってくれる

では、その中国語シンガーや英語シンガーは中国語や英語しか歌えないのかというと、そんなことはないんですね。日本語で歌わせることも可能であり、まったく違和感なくキレイな発音の日本語で歌ってくれます。この辺もとっても良くできているところです。

ボイスミックスで複数のシンガーをミックスして新しいシンガーを生み出す

ここからが従来の歌声合成ソフトにはない、ユニークな機能になっていきます。
トラック上のシンガーアイコンをダブルクリックすると左側に、トラックエディターというものが登場してきます。

トラックエディターが開く

ここに通常は1つのシンガーが表示されているだけなのですが、隣の＋をクリックすると、また41種類のシンガー一覧が表示されるので（すでに選んでいるものはグレーアウトされている）、この中から別のシンガーを選ぶのです。

別のシンガーを追加する

すると各シンガーに紫で声質、オレンジでスタイルと書かれた棒グラフが表示されます。デフォルトでは声質とスタイルは連動する形で値の設定ができるようになっていますが、中央にある白い丸印をクリックして連動を解除すると、別々に調整できるので、どんな形でミックスするのか自分で設定することができます。

そうこれによって、世の中には存在しない、新しいバーチャルシンガーが誕生するのです。バーチャルシンガーとはいえ、ロボットボイスになるわけではなく、本当に人間的に歌わせることができるのがスゴイというか、怖いというか……。

複数のシンガーをミックスしてオリジナルのシンガー＝歌声データベースを生成できる

しかもミックスできるのは二人のシンガーというわけでなく、3人でも4人でも、複数のシンガーをミックスすることができ、そのバランスも自由に設定できるのです。ミックスといっても音量的なミックスではなく、声質の雰囲気をAI的にミックスしたり、スタイル＝歌い方をミックスできるので、非常にユニークです。

これによって、いいシンガーを誕生させることができたら、名前を付けたり、アバターを設定して保存することもできるようになっています。

VOCALOIDやSynthesizer V、CeVIO AI用のデータをインポート

ところで、冒頭で紹介したビデオは、5年前にリリースした小岩井ことりさん歌唱のDTMステーションCreativeリリースの『oyasumi』という曲。詳細は「【コミケ97参戦】小岩井ことりさんと作ったASMR CD。ハイテクで超ローテクなバイノーラル録音の舞台裏」をご覧いただきたいのですが、この曲はSynthesizer Vに歌わせるなど、DTMステーションでも何度か登場させたことがありました。

そのため、手元にデータがあったのですが、今回そのSynthesizer VのデータをACE Studioにインポートする形で歌わせてみました。

「ファイル」メニューから「インポート」を選ぶと…

といっても、ACE StudioにSynthesizer Vのデータをインポートする機能を持っているわけではありません。が、「ファイル」メニューー「インポート」を開いてみると、

という3つがあります。先日「無料版も公開中のカワイのスコアメーカーZERO、VST3音源に対応とともにSynthsizer VやVOCALOIDなどとの連携も実現」という記事で紹介したスコアメーカーで歌詞付きのMIDIファイルを、このインポートで機能で読み込むこともできましたが、Utaformatixファイルをサポートしている、という点も気になるところ。

Utaformatixを利用することで、各種歌声合成ソフトのデータを取り込むことが可能

このUtaformatixについても以前『No.7』の記事の中で紹介したことがありましたが、これは歌声合成ソフト間でデータをやりとりするためのWebアプリシステム。オープンソースのシステムとしてGitHub上に存在していて、UtaFormatixサイトにアクセスすることで誰でも利用可能なものです。これを介して、Synthesizer VのデータをUtaformatixデータに変換した上で、ACE Studioに読み込ませたところ、すぐに使うことができました。もし、手元に、VOCALOIDやSynthesizer V、CeVIO AIなどのデータがあるのなら、これを使って変換して使うというのが、ACE Studioの性能をチェックする上では手っ取り早そうですね。

素のボーカルトラックがあればオリジナル歌声データベースを生成できる

そして、ここからが本題です。これまで各種AI歌声合成ソフトにおいて、歌声データベースは基本的に購入することが基本であり、ユーザーは市販されている歌声データベースの中から自分のイメージに近い歌声を選んで使うしか方法はありませんでした。

確かにUTAUでは、オリジナルの歌声データベースを作ることは可能でしたが、これはAI歌声合成ソフトではなく、音素ごとに切り貼りして作るシステムであったため、現在のAI歌声合成ソフトとは少し位置づけが異なります。それに対し、このACE Studioはユーザーが自分でAI歌声データベースを作ることが可能になっているのです。

方法は至って簡単。レコーディングした歌声をアップロードするだけで、ACE Studioのシステムがディープラーニングを行い、歌声データベースを生成してくれるのです。その歌声としては、ほかの音とミックスされていないボーカルだけの音源であり、リバーブなどがかかっていない音であるのが条件。

自分でDAWでレコーディングした楽曲であれば、その素のボーカルトラックをアップロードすればいいのです。この際、ボーカルデータは1分の曲でも5分の曲でもいいのですが、複数集めてトータル30分程度あれば、生成できるとのこと。理想は60分程度で、これをアップしたのち、その2倍程度の時間、つまり30分のデータに対して60分程度、60分のデータなら2時間程度待つと完成します。

この作業はACE Studio自体で行うわけではなく、ACE Studioの「カスタマイズシンガー」というところの項目にある「カスタマイズする」という文字をクリックして開くWebサイト上で行います。

ただし、これについては14日間の無料使用の状態では利用できないようです。これを使うには14日間経過する前でも、課金がスタートする旨の表示がされ、OKすると実際課金されるので、その点はご注意ください。私は、とりあえずアーティストプランの月額課金、3,500円を支払う形で使ってみました。

『No.7』の歌唱データを利用してオリジナル歌声データベースを作ってみた

実際、何をやったのか。それが、冒頭で紹介した『No.7』の歌声データのアップロードです。これはAI歌声合成など研究用途のため、小岩井ことりさんが自ら作詞作曲し、歌った歌声51曲分を公開しているもの。私自身もこのプロジェクトメンバーではありますが、改めて小岩井ことりさんサイド、そして明治大学の専任准教授、森勢将雅先生にも、使用について確認の上、実験的にデータベース生成を行ってみたのです。

No.7のデータを利用して学習させてみた

公開されているデータには本当に素のレコーディングしただけのオリジナル、ノイズ除去処理をおこなったもの、ピッチ補正をおこなったもの、タイミング補正を行ったものなどあるのですが、ここでは、そのすべての処理を行ったデータを利用しました。

また51曲分トータルでは約60分になるのですが、全部アップロードすると、データベース生成に時間がかかるので、ここではNo.25～No.50までの約半分、46分のデータをアップロードして生成させたのが、冒頭の歌声だったのです。

生成完了後、ACE Studioを起動すると、設定しておいたNo.7のアイコンが現れ、もともと用意されている44種類のシンガーと同じように使うことが可能になります。

学習が完了すると、ACE Studio上に『No.7』が現れ、他のシンガー同様に使えるようになった

そして、44種類のシンガーとミックスしたバージョンも簡単に作ることが可能になっているのです（実は記事を書いてきたときは41種類だったのですが、8月10日さらにシンガーが3つ追加されて、現在44種類になっています）。

ここではNo.7の歌唱データの半分をアップロードして作っていましたが、実は同じNo.7の歌唱データのすべてを利用して、さらにいろいろな実験をされている方がいます。それが、このACE Studioの44種類のシンガーの一人でもあり、VTuberとしても活躍しているシンガーの緋惺＝Akesato（@akesato_vtuber）さん。その緋惺さんのブログで、詳細なレポートをされているので、ぜひ、そちらも参照してみてください。

Step6☆カスタマイズAIシンガーの作り方

ボイススロットが1つだけのアーティストプランと、5つまで使えるアーティストProプラン

その緋惺さんのブログの解説にもありますが、実は学習＝トレーニング結果できるデータベースは1つだけというわけではありません。Rare、Medium-Rare、Midium、Medium-Well、Well-Doneと5つの結果ができ、それぞれで少しずつニュアンスが変わってきます。その中で自分の好きなものを1つ選んで使う、という形になります。

学習結果の異なる5種類のデータベースから選ぶことができる

では、こうした歌声データベースをいくらでも作って自分のライブラリとして貯めていくことができるのか、というとそうではないようです。これがACE Studioの課金にも大きく関係する部分で、下のグレードのアーティストプランだと、オリジナルの歌声データベースを入れておくボイススロットが1つのみ、上位版のアーティストProプランだと5つまで、となっているんですね。

ボイススロットを追加しようとすると、アーティストProプランへの加入を促される

とはいえ、学習＝トレーニング自体は何度もやり直すことが可能。つまり、先ほどの例でいえば、No.7のデータを破棄して別の歌声をアップロードして新しい歌声データベースを作ることは可能となっています。

またユーザー同士で、作った歌声データベースを共有する「コラボ席」という機能があるほか、「無期限スロット」というサブスクに依存せず、ずっと使い続けられるものも別途販売されています。

この辺が少しややこしいところですが、少し整理して説明すると、サブスクで得られるスロット（アーティストプランなら1つ、アーティストProプランなら5つ）は、サブスク中は使えますが、サブスクが切れてもデータ自体は残っているので、サブスク復活後にはまた利用できます。ただし、この場合コラボ席で別のユーザーと共有した場合、そのユーザーも使えなくなってしまいますが、もし無期限スロットを購入してそこに登録していた場合は、サブスクが切れている期間も凍結されず、共有メンバーは使える形になります。この辺をよく考えたうえで、プランを選んだり、無期限スロットの購入をするとよさそうです。

以上、ACE Studioについてざっと紹介してみました。表面的なところしか紹介できていないので、また機会があれば、テーマを絞り込んで紹介できればと思っております。また、使ってみた中、いろいろ気になることもいっぱいあったので、ACE Studioを開発するTIMEDOMAINに連絡をしてメールインタビューをしたので、ぜひ、そちらも併せてご覧ください。

なお、そのやり取りの過程でお願いしてみたところ、DTMステーション読者向けにクーポンを発行してもらうことができました。これは初回の課金時に割引を適用されるというもので、以下のとおりです。

ぜひ、ACE Studioを利用する方は活用してみてください。

【関連情報】
ACE Studioサイト
ACE Studio無料トライアルダウンロード