VOCALOIDの対抗馬、Synthesizer Vが無料で使えるWebブラウザ版を公開。2020年、歌声合成はさらに進化する

新年、明けましておめでとうございます。2020年の元旦から歌声合成の世界での新サービスのニュースです。ちょうど1年前「VOCALOIDの競合となるのか？中国人天才少年が開発した歌声合成ソフト、Synthesizer Vの破壊力」という記事とともにデビューしたSynthesizer Vが、Webブラウザで動作するWeb Synthesizer Vとして新たに誕生しました。これはWindowsでもMacでもWebブラウザ（Google Chrome推奨）で動作する歌声合成ソフトで、ピアノロール画面でメロディーを打ち込み、歌詞を入力すれば歌わせることができるというもの。

Web Syntheseizer Vのページを開くだけですぐに使うことができ、インストールも不要。そして何より、無料で誰でも使うことができるというのが大きなポイントです。開発しているのは東京都内にあるスタートアップ企業、Dreamtonics。上海出身の22歳の社長、Kanru Huaさんにも話を伺ってみたので、Web Synthesizer Vとはどんなものなのか、紹介してみましょう。

2020年1月1日に公開されたWeb Synthesizer V

大晦日の紅白歌合戦には、VOCALOID:AIによって復活した美空ひばりが歌をうたい、VOCALOIDを卒業し産総研による新歌声合成エンジンを搭載する初音ミク NTはプロトタイプ版が3月にリリースされることがアナウンスされるなど、にわかに活気づいてきている歌声合成の世界。ここに、また新たにWebブラウザ上で無料で使える歌声合成ソフト、Synthesizer Vが登場したのです。何はともあれ、Chromeを使って、Web Synthesizer Vのページにアクセスしてみてください。右肩の＋を押せば全画面に拡大もできる。再生ボタンを押せば歌い出す

すると、ピアノロール画面が表示されるとともに、そこに予め音符が打ち込まれているのが分かると思います。ここで再生ボタンをクリックすると「夕焼け小焼けの赤とんぼ～♪」と歌が再生されるはずです。

Synthesizer Vそして今回のWeb Synthesizer Vを開発したDreamtonicのKanru Huaさん

これ、別に動画を再生しているわけではなく、Chrome上でリアルタイムに歌声を合成して、歌っているんですよ。ご存知の方も多いと思いますが、最近のWebブラウザにはWebMIDI、WebAudioといった技術が搭載されているので、これを利用することで、ブラウザ上でソフトシンセを鳴らすことも可能です。そうした仕組みを利用して、Synthesizer Vを歌わせているんですね。

開発者であるKanru Huaさんが、デモを見せてくれたので、そのビデオをご覧ください。

Web Synthesizer Vは、こんな感じで簡単に日本語で歌わせることができるのです。もう少し、具体的に機能を見てみましょう。

現在入っている「赤とんぼ」のデータをすべて選択し、削除してクリア

基本的な使い方はVOCALOID Editorなどと同じで、まずピアノロール画面においてマウスでメロディーを入力していきます。ピアノロール上でダブルクリックすると4分音符分の入力ができ、必要に応じてマウスをドラッグすることで音符の長さを変えたり、音程を変更することが可能です。

ピアノロール画面上でマウスをダウブルクリックし、音符を一つ一つ入力する

Huaさんは「今後、MIDIデータの読み込み機能などにも対応させたい」と話していましたが、このWeb Synthesizer Vでは、MIDIキーボードからの入力などにも対応していないので、今のところマウスでの入力のみの対応となっています。

メロディーが入力できたら、今度は歌詞の入力です。これはひらがな、カタカナそしてローマ字に対応しているので好きな形で入力していきます。

各音符をダブルクリックし、ローマ字で歌詞を入力

あとは再生ボタンをクリックすれば、入力した通りに歌ってくれるはずです。とはいえ、もう少し自由度を持って歌わせたい、という人もいるでしょう。Web Synthesizer Vは、そうしたパラメータの調整も可能になっています。

そのパラメータ、ピアノロール画面の下にあり、同時に2つのパラメータまで表示可能になっています。用意されているパラメータは

Pitch Deviation（ピッチベンド）
Vibrato Envelope（ビブラートエンベロープ）
Loudness（ラウドネス）
Tension（テンション）
Breathiness（ブレシネス）
Voicing（有声/無声音）
Gender（ジェンダー）

のそれぞれ。各パラメータの意味合いは、昨年リリースされたデスクトップアプリ版であるSynthesizer Vに準ずるものなので、ここでは割愛しますが、グラフ形式パラメータを動かすことができ、それによって歌声も変化していきます。

7つあるパラメータで調整可能

でも、どうして、ここまでの機能を持ったものを無料で公開するのでしょうか？「最近Webテクノロジーはどんどん進化しています。私たちもそうした世の中の変化についていくため、実験的な意味も込めてリリースしました。また多くのユーザーにとって、気になるソフトがあり、その評価版があったとしても、わざわざインストールするような面倒なことは嫌がられます。でもWebアプリであれば、サイトにアクセスするだけで簡単に機能を試せるメリットがあります。一方で、私たちにとっても、バージョンアップのたびに、インストール版を作り直さなくてもWebを修正するだけでOKで、リロードすれば新バージョンになる手軽さは開発スピードを向上させることができます」とHuaさんは流ちょうな日本語で説明してくれました。

そう1年前の取材時は半分英語のコミュニケーションでしたが、昨年、拠点を完全に日本に移したこともあって、開発力だけでなく、日本語力も大きく向上していたんですね。

1年前にリリースされた製品版のSynthesizer V

さて、ここで気になるのは、このSynthesizer Vはインストールベースのデスクトップアプリから、Webアプリへと移行していくということなのか？またこれだとユーザーは完全に無料で使えるのでうれしい限りですが、これで利益をどうやってだすのか、という点です。この点について、Huaさんは次のように話します。

「Web Synthesizer Vは、あくまでもユーザーに機能を体験してもらうためのもので、全機能がここに搭載されているわけではありません。デスクトップアプリのほうは、VSTプラグインとしてDAWと連携することもできるし、レイテンシーの面でも優れています。また処理時間自体も、Webアプリだとどうしても2、3倍の時間を要するというネックもあります。さらに、ファイルの読み書きに現状は対応できていないのなど制限もあるんです。また音質面においてもWeb Synthesizer Vのほうは軽くするために非可逆圧縮オーディオを使っているため、若干音質も劣っているのも事実です。とはいえ、Web Synthesizer Vでも一通りのことはできるので、十分使うことはできるはずです」

都内にあるDreamtonicの開発ルーム

もう一つ気になったのは、歌声データベースに関して。デスクトップアプリ版のSynthesizer Vでは、闇音レンリやAiKO、Eleanor Forteといったものが用意されていましたが、Webアプリのほうはどうなっているのでしょうか？

「現在は、新開発の歌声データベースを組み込んでおり、それ1つに固定しています。ただ、今後、歌声データベースを開発するサードパーティーにもWeb版を開放していく予定で、彼らが取り組んでくれれば、ここで無料で使えるようになるはずです。各歌声データベースがどんな歌い方をするのか、体験版として使えるようになる意味は大きいと思います」とHuaさん。

もう一つ気になったのがUIについて。パッと見の雰囲気はデスクトップアプリ版と似ていますが、それよりも使い勝手がいい気がします。その点についてHuaさんは

「このWebアプリ版は、今年リリース予定のSynthesizer Vの第2世代バージョンを先取りする形で新機能のいくつかを搭載しているんです。それはUIだけでなく、深層ニューラルネットワークに基づく自然呼吸モデルなどが含まれます。ぜひその点も楽しみにしていただければと思います。ちなみに、このUIはベルリンのデザイン会社、Resonant Designというところと共同開発しています。ここは元Native Instrumentsのデザイナーで、とてもいいUIを作ってくれています」とHuaさん。

GitHub上でJUCEをWeb上で動かすツールを公開している

そんなHuaさんに、開発手法について伺ってみたところ、ちょっと驚くような答えが返ってきました。「もともとSynthesizer VはJUCE (Jules’ Utility Class Extensions)というフレームワークを利用して開発しており、次期バージョンもJUCEを使って開発中です。そこで、このWebアプリ版もJUCEを利用しました。ただ、JUCE自体はWindowsやMacのプラットフォーム、またVSTやAUなどのプラグインに対応しているもののWebアプリに対応していませんでした。5年くらい前にチャレンジした人がいたものの完成できていないままになっていたので、私がそれを引き継いで開発を行い、対応させることができました。そのツールはGitHubで無料公開しましたので、今後は誰でもJUCEでWebアプリを開発できますよ」とHuaさんはサラっと話してくれました。これって、世界中のDTM系の開発者への朗報ですよね。

ブラウザ上でJUCEのデモプログラムもしっかりと動作する

Synthesizer Vは、今回のWebアプリ版を契機に、より機能・性能向上させ、発展させていくとのこと。ただ、現状、Huaさんの会社、Dreamtonicsは、数名しかおらず、人的パワー不足。「実現させたいことはいっぱいあるのですが、人が足りないのが実情です。デザインなどは海外に頼んだりしていますがどうしても手元で開発しなくてはならないことも多く困っています。ある程度でもプログラムスキルを持った方で、一緒に仕事をしてみたいという方がいたら、ぜひ連絡ください」とHuaさん。

まだ小さな会社ではあるけれど、ユーザーは日本だけでなく、アメリカ、ヨーロッパ、中国と世界に広がっており、とても大きな可能性も持っているので、ここに飛び込んでみるのも面白そうですよ。

まずは、この無料で使えるWeb Synthesizer Vでじっくり遊んでみてはいかがですか？

【採用情報】
Dreamtonic採用ページ