読唇術を実現するためのデータベース作成!? 口の動きだけで言葉を認識し、違う声にする究極のバ美肉技術のための研究資金をクラウドファンディング中

ーー読唇の研究者がいるということを全く知らなかったのですが、もともとどんな目的で研究をはじめられたのでしょうか？
齊藤：読唇技術は、音声情報を利用しないで言葉を読み取る技術なのので、声を出せない方を支援すること、医療従事者へのコミュニケーション支援のための研究というのが大きな目的です。でも、それだけでなく騒音環境でも使えるし、静かにしておく必要がある場所での利用にも役立ちます。使用機器はカメラだけでいいので、カーナビで音楽を流しながら指示するのにも使える可能性があるし、バイオメトリックス認証との組み合わせなどの応用も考えられるだろうと、進めてきた経緯があります。

－－そこに、今回、ボイスチェンジャー的な目的が追加された、と。
齊藤：小田さんからコラボ企画を持ちかけていただいたのですが、自分のしゃべる言葉を、ほかの声優さんの声に変換するという発想はまったくなかったので、最初は驚きました。もちろん、それが簡単に実現できる段階にはないのですが、とても面白い応用例だと思いました。

ーー改めてその読唇技術とはどういうものなのか基本的なことを教えていただけますか？
齊藤：読唇技術のルーツは電話を発明したグラハム・ベルの父である聾唖教育家のメルビル・ベルが18世紀に発明したとされています。日本に紹介されたのは昭和初期と言われていますが、読唇自体は、きっと大昔から何等かの形であったとは思います。ただ読唇は非常に難しく、人による読唇精度は30～40%と言われています。というのも口の形は母音によってほぼ決まるため、たとえばア段＝（あ、か、さ、た、な、は、ま、や、ら、わ）の口の形はほとんど変わらないのが大きな要因です。また音声認識と共通の問題もあり、同音異義語を見分けるのが非常に難しい。「橋」と「箸」、「端」の違いは口の動きからはまったく分かりません。それに加え読唇技術固有の問題もあるのです。同口形異音語といいますが、「タバコ」、「卵」、「なまこ」の口の動きはそっくりで見分けが付かないし、類似口形語といいますが「売る」、「浮く」、「来る」、「付く」もほぼ同じに見えます。また口形変化の少ない言葉として「一日中」とか「イチジク」、「救急車」といったものもあり、見た目からは判別しにくいのです。

ーー確かにそうですね。そんなことまったく考えたこともなかったですが、簡単なことではなさそうです。
齊藤：ほかにも課題は山積みなんです。研究に利用できる発話シーンというのが少ないのが大きな問題でもあります。英国Oxford大学の研究グループがBBCの映像を利用して研究したケースはあるものの、顔が映る映像であるため研究用とはいえ、利用できる映像の収集がしにくいし、人によって口形や唇の動きが異なるのも問題。また日本語の公開データが少ないのも難しいところです。さらに実際に研究用に使うには事前に顔画像処理をしておく必要もあり、顔の特徴点の検出など読唇以外の関連技術も必要となってきます。そして研究者が少ないこと。研究者を増やさないことには、なかなか進まないですからね。

研究用のデータベースにするためには事前に顔画像処理をしておく必要がある

ーーそうした中、先生のところで、デモンストレーションを行うWebアプリを公開していると先日、小田さんに伺いました。
齊藤：はい。ユーザー登録が必要ではありますが、口の動きがあるビデオを撮影し、それをここにアップロードすると、何と言ったかを推定するWebアプリケーションです。ただし、ここで認識できるのは日本語の25の言葉に限られます。具体的には「ぜろ」～「きゅう」までの数字と、「おはよう」、「こんにちは」などの挨拶です。これは主に学生、72名の人たちの25単語の発話シーンを15回ずつ記録したビデオ、全27,000サンプルをディープラーニングして開発した世界初の読唇Webアプリです。

ユーザー登録すれば誰でも使える世界初の読唇Webアプリが公開されている

ーー限られた言葉で、しかも単語であるので、まだ実験段階という印象ではありますが、試してみるとすごく面白いですね。
齊藤：これが実現できたのは、72名のしゃべったビデオのデータベースがあったからこそで、私たちの研究において難しいのは、そうしたデータベースがほとんどないということなのです。この72名の発話シーンを元にしたデータベースは研究者用に公開していますが、そうしたものが増えてくれば、読唇技術の研究も進んでくるはずです。

読唇Webアプリの実現には72人による計27,000もの発話シーンのDBが使われている

ーーなるほど、それがそれが今回のクラウドファンディングに合致するところなのですね。実際、ストレッチゴールを見てみるといくつかあるようですが、具体的にはどんなことが行われるのですか？
小田：150%達成の第２ゴールに到達したら、イタコ姉さまの声優、木戸衣吹さんの発話シーンを収録してデータベース化していきます。ここでは500の文章を木戸さんに読み上げてもらい、その口の動きをビデオで収録。それを映像処理、音声処理をして整理した上でデータベース化していくのです。その映像処理は齊藤先生にお願いし、音声処理のほうは明治大学の森勢将雅先生にお願いする予定です。

コンピュータによる読唇について、優しく解説してくれた九州工業大学の大学院情報工学研究院の齊藤剛史先生
齊藤：データベース化するためには、ビデオを元に口がどこにあり、鼻がどこにあるかなど、顔特徴点を抽出する前処理が必要になるので、そうした処理を行っていきます。ほぼ自動化できるようになっているので、その作業自体は数日でできるのではないかと思っています。

150%達成の第２ゴールで木戸衣吹さんによる東北イタコの読唇データベースを作成

小田：森勢先生側の音素ラベル付け作業のほうが、より多くの作業が発生しそうではありますが、そうした作業を並行して行っていきます。さらに217%達成の第3ゴールにきたら、四国めたんちゃん（CV：田中小雪さん）、ずんだもん（CV：伊藤ゆいなさん）にも参加してもらい、同じく500の文章を読み上げるデータベースを作っていく予定です。

217%達成の第3ゴールで田中小雪さんによる四国めたんちゃんDB作成

ーーその作られたデータベースは、誰でも見ることができるものなのですか？
小田：これは、すでに制作することが確定となった、イタコ姉さんの歌唱データベースと同様で、あくまでも研究者向けの公開となります。そのため一般の方々は、それによって出てくる研究成果を待つしかないのですが、さまざまな研究者に参加いただくことで、新しいものが生まれるのでは……と期待しているところです。読唇技術の研究者は国内に数えるほどしかいませんが、たとえばディープラーニングの研究者や画像処理の研究者に参加してもらうことで、これまでは見出すことができなかった、新たな成果が得られるのではないか、と。

第3ゴールでは四国めたんちゃんに加え、伊藤ゆいなさんによるずんだもんDBも作成

ーーストレッチゴールに達成したから、すぐに読唇術が完成するというわけではなく、その研究に貢献していこうというのが趣旨なわけですね。未来に向けた、とても意義のあるクラウドファンディングといえそうですね。ぜひ、ストレッチゴールが達成し、読唇技術の研究が大きく進んでくれることを楽しみに待っています。