ついに人と人工知能が一緒に演奏する時代に!? 「響け！ユーフォニアム」登場キャラと合奏を体験しよう

最近、DTMステーションでも人工知能＝AIネタが増えてきていますが、今度はヤマハによる「人と一緒に演奏することができるAI」の登場です。10月27～29日に日本科学未来館で開催されるデジタルコンテンツEXPO(DCEXPO)で人間×AIによるライブが披露されるほか、アニメ「響け!ユーフォニアム」の世界に入り込めるAI搭載のiPhoneアプリが展示され、来場者といっしょにユーフォニアムやトランペットでの合奏が可能になるというのです。

でも、そもそもAIが人と一緒に演奏するとはどういう意味なんでしょうか？AIなんてなくたって、クリックさえあれば昔からコンピュータと人間のセッションは可能でしたし、シーケンスによるプレイをカラオケととらえれば、クリックなんてなくても一緒に演奏できます。しかし、このヤマハのAIを利用すれば、より人間的な演奏が可能になるのだとか……。実際どういうもので、どんなメリットがあるのか、先日、このシステムを開発したヤマハ株式会社、研究開発統括部 第1研究開発部 音楽AIグループの前澤陽さんにいろいろ伺ってみました。

「響け！ユーフォニアム」のキャラクタがAI機能を持ち、合奏相手になってくれる

一見すると「あんまり上手くない演奏!?」、「すごく普通!?」なんて思ってしまうかもしれません。でも、よく考えてみると、結構驚くべきことが実現されているのです。具体的に挙げると
・クリックを聴いていない
・スタートのカウントもなく、前澤さんが弾くとコンピュータ側が演奏をはじめる
・前澤さんが弾くテンポが遅くなったり、速くなってもコンピュータは追従する
・ミスタッチがいっぱいあっても、コンピュータはちゃんとついてくる
・コンピュータの演奏にピッタリ合う形で影絵の映像が動いている

などなど……。実際どういうことが起こっているのか、聞いてみました。

今回、お話を伺ったヤマハ・研究開発統括部の前澤陽さん

－－なかなか不思議なデモでしたが、そもそも前澤さんは、どうしてこんな人工知能を開発することになったのですか？
前澤：もともと僕自身、バイオリンを演奏するし、以前からDTMをやっています。そうすると、当然コンピュータといっしょに演奏したいという思いが生まれてくるのですが、その場合、自分がシーケンスに合わせて弾くしか方法がありません。まあDTM的にいえば、それが当然でもあるけれど、楽器を演奏する立場からすると、自由度が低く不自然にも感じます。なんとかコンピュータを自分に合わせられないだろうか……と思ったのがキッカケです。まあ自分に合わせてくれるカラオケが作りたかったんですよ。

－－人がクリックに合わせるのが当たり前……というように普段思っていますが、でも考えてみればその通りですよね。そんなものを作ろうと思ったのがいつ頃だったんですか？

前澤：実は、大学院にいたときから、そうした研究をしてきたんですよ。当時行っていたのはバッチ処理によるものです。つまり、予め録音した演奏を元に解析して合わせるという手段でしたが、やはりリアルタイムでの演奏をしてみたいと、会社に入ってから研究を進めてきて、ようやくかなり使えるところまで進化してきました。

DCEXPOの会場では、紅い流星さんがピアノ演奏を披露してくれる

－－さっきのデモを見ると、人が弾くテンポに合わせて、予め用意されているシーケンスデータが動く、ということですよね？でも上手に弾いてしまったら、きっと誰も何も気づない地味な技術かもしれませんね(笑)。

前澤：DCEXPOでは私ではなく、素晴らしいプレイヤーさんたちが弾いてくれるのですが、ちょうど昨日、当日ピアノを弾いてくれる紅い流星さんと話をしていて、「すごいと思わせないのが、これの究極ですよね」と言われましたが、そのとおりですね。普通はシーケンスのクリックを聴きながら人が合わせるわけですが、これはシーケンサが人に合わせてくれるからフェルマータ、リタルダンドでもブレイクでも、その場によって合わせることが可能です。人の揺れ、動きを柔軟にキャッチしてくれるので、見ていてもなかなかよくわからないかもしれません。

Macに接続されていたUR22mkIIのMIDI端子を経由してデジタルピアノ、ディスクラビアと接続されている
－－前澤さんが弾いたピアノのMIDI信号を受け取ってリアルタイム解析しているわけですよね？

前澤：はい、先ほどのデモではMIDI信号を利用していましたが、別にMIDI信号に限らずオーディオでも行けるようになっています。実際、DCEXPOの会場では、今村耀さんが吹くユーフォニアムに合わせて、予めレコーディングしているトランペット、チューバ、コントラバスが演奏されて四重奏になるわけです。

今村耀さんが吹くユーフォニアムに合わせてAIが伴奏して四重奏を披露する

－－なるほど、MIDIだけでなく、オーディオでもいいんですね。でも、そうなると気になるのがレイテンシーです。いくらリアルタイムでの処理といっても、それなりに時間がかかるでしょうから、遅れが出てしまいますよね。そこは先読みしてプレイする形になるのですか？

前澤：その通りです。先ほどのディスクラビアでのMIDIでも実は結構レイテンシーがあるんですよ。その遅延を補正しているのですが、実はここにノウハウが詰め込まれており、重要なパートでもあるんです。ここ数年間、いろいろなプレイヤーの協力を得て演奏を繰り返した結果、実現できたものでもあるんです。

－－確かに、何が人工知能なのかというところも気になりますね。人の演奏を元にリアルタイムにテンポを検出するというのは難しい技術だとは思いますが、オフラインであればDAWにもテンポ検出機能はあるわけで、人工知能という感じではないですよね？
前澤：実はテンポやタイミングを人間の生演奏からリアルタイムに検出するのは難しい問題で、人間のテンポカーブや楽器の鳴りの特性を知っている必要があります。このような特性を人間の演奏データから覚えさせるのにAIを使っています。また、人の演奏するテンポにピッタリ合わせてコンピュータが伴奏すると、実は非常におかしなフィードバックを起こしてしまい、ふらついた伴奏になります。結果として演奏者にとってはとても演奏しにくいものとなってしまいます。ある意味、コンピュータ側にアイデンティティを持たせて、それなりのプレイをすることで、気持ちいい演奏が可能になるのです。どっちがリードするかの駆け引きができるようにするわけです。こうしたアイデンティティを数学的にもモデル化しているんですよ。

今回のAI合奏システムの概念図

－－そこが人工知能というわけですね。あんまり深入りすると付いていけなくなりそうですが……。ただ、意地悪な言い方をすれば人工知能が使われているのはテンポ部分のみであって、抑揚とかには対応していないんですね？
前澤：そこは次のステップだと考えています。現時点においては、まずはテンポをどう管理するかですね。プレイヤーの方によっては、「1回目はあまりうまく演奏できなかったけれど、性格がわかったので2回目以降はすごく弾きやすくなった」とおっしゃる方もいるし、「せっかくなら、もっとクセを出してくれたほうが楽しいな」なんて言う方もいます。今後はそうした性格付けということも強化していきたいですね。

前澤さんが弾くピアノに合わせる形で予め用意されていたシーケンスデータが鳴っていた

－－ところで、使っているハードウェア構成的にはシンプルそうですよね？

前澤：はい、コンピュータとしてMacBook Proを使っていましたが、MacBook Airでも普通に動かせるシステムであり、そこにMIDIインターフェイスを接続しただけです。ユーフォニアムとのオーディオを使った演奏でも、オーディオインターフェイスからマイクからの音を拾うだけですね。プログラム的には当初pythonを使って組んでいましたが、だんだん複雑になってきたこともあり、現在はほぼすべてC++という構成ですね。

デモしてもらったAIが動くMacの画面

 
－－先ほどのプレイでは演奏に合わせて影絵のビデオも動いていましたよね？

前澤：この影絵ビデオも実際のレコーディングと一緒に撮影していたものですが、SMPTEを使って同期させているだけのシンプルなものですよ。そうしたシンプルなシステムなので、PCだけでなく、スマホでも実現可能になっているんです。

－－それがDCEXPOで展示されて、来場者が体験できるものなんですね。
前澤：先ほど紅い流星さん、今村耀さん、そしてよみぃさんがAIと一緒に演奏するのは7階で行われるコンサート形式のものであり、基本的に予約制となっています。一方で1階では、iPhoneアプリを用いた体験が予約不要でできるようになっています。このアプリは、アニメ「響け！ユーフォニアム」の世界を追体験できる楽器演奏支援アプリとして当社が出している「ふこうよアンサンブル〜北宇治高校吹奏楽部へようこそ〜」をベースに、この人工知能合奏システムを搭載したものとなっています。ユーザーが久美子役としてユーフォニアムを演奏すれば、iPhoneが麗奈役として一緒にトランペット合奏してくれます。反対にトランペットを演奏すれば、ユーフォニアムを合奏してくれるわけですね。

DCEXPO会場ではよみぃさんも、AIとのピアノ連弾を行う

－－なるほど、それは「響け！」ファンにとっては、かなりグッと来ますね。もっとも、ユーフォニアムもトランペットも吹けませんが……(汗)

前澤：当日、ご自身のユーフォニアム、トランペットを会場にご持参いただければ、こちらで用意するサイレントブラスを利用して演奏できるようにします。一方、楽器をご持参いただかない場合は、シンセサイザキーボードであるrefaceを用意してますので、それで参加していただくことができますよ。

「ふこうよアンサンブル〜北宇治高校吹奏楽部へようこそ〜」アプリにAIが搭載された特別版が展示される

－－キーボードであれば、誰でも気軽に楽しめそうですね。

前澤：はい。一方、このiPhoneのアプリには単に合奏するだけでなく、もう一つポイントがあるんです。テンポの動きなども含めて演奏を解析するんで、登場キャラクタがそれに合わせたコメントをしてくれるんですよ。

音程だけでなく、テンポ、リズムに対してのコメントも返ってくる

－－例の、滝先生に怒られちゃうパターンですか？
前澤：今回のは麗奈や久美子がコメントしたり、アドバイスするという形ですね。いま出ているアプリとはちょっと違った展開になるので、そこはぜひ体験しに来てください。ちなみに、この体験コーナーで扱う楽曲は、劇中曲である「愛を見つけた場所」と「きらきら星」の2曲です。ご体験後、アンケートにご協力頂いた方には、特製クリアファイルセットをプレゼントする企画もありますので(数に限りがあるので、先着となります)、ぜひゲットしてくださいね。

このアプリはDCEXPOの会場のみでの披露で、現時点においては一般公開される予定はないとのこと
－－このAI搭載版のアプリは後日リリースされる予定なんですか？

前澤：まだ研究段階の技術ということもあり、現時点ではリリースする予定はありません。合奏ができ一部の用途では十分気持ちが良いのですが、より人との合奏に近づけていくため研究を続けようと思っています。とはいえ、将来的にはもちろんこの技術の製品化なども見据えて開発を進めていきたいと思っています。まずは、DCEXPOにみなさん見に来ていただければと思います。ステージでは3人のプレイヤーさんたちが素晴らしい演奏をしてくれますし、シルエットもキレイな舞台になるので、ぜひ公式サイトから予約してお越しください。

－－本日はありがとうございました。私もぜひDCEXPO、見に行ってみようと思います。
© 武田綾乃・宝島社／『響け！』製作委員会
【関連情報】
「みらいのアンサンブル」公式サイト
【関連記事】
『響け！ユーフォニアム』が無料のiPhoneアプリに！ヤマハの新技術で、自分の演奏を顧問の滝先生が厳しく評価してくれる
あすか先輩もアドバイスしてくれる！ヤマハのiPhoneアプリ『ふこうよアンサンブル』が『響け！ユーフォニアム2』対応にバージョンアップだ！
マスタリングエンジニアの職が危うい!?人工知能搭載のOzone 8とNeutron 2の登場は革命かも!