「えっ、そんなことまで言っていたの?」聴覚障害者が初めて知った駅のホームにあふれる音たち マイクで集めた音をAIで視覚化、その名も「エキマトペ」

JR上野駅のホームに設置された「エキマトペ」の実験装置=9月

 JR上野駅京浜東北線・山手線のホームに一見風変わりな自動販売機がある。上部に漫画の吹き出しのようなデザインの装置が付いていて、発車ベルや駅員のアナウンス、近づく電車の騒音などホーム上にあふれる音を瞬時に識別し、ディスプレーに文字や手話で表示している。「エキマトペ」と名付けられたこの装置は今年6月、聴覚障害者に必要な情報を可視化することで正確に伝え、利便性向上につなげるための実証実験として設置された。当事者の女性が「ホームでの世界が一気に変わった」と描いた漫画をツイッターに投稿すると大きな反響を呼んだ。耳が聞こえる人にも興味を持って眺めてもらい、障害そのものへの理解を深めてほしいとの思いも込められている。(共同通信=西田あすか)

 ▽「ビュウウウウウウン」「キュー!!!」

 電車の到着を知らせるチャイムが鳴ると、ディスプレー上に「キンコンカン キンコンカン コー」とアニメーション風の文字が躍った。「まもなく1番線に電車がまいります」。アナウンスが流れると、文字とともに手話通訳の動画が表示された。程なくして車両がホームに滑り込む。「ビュウウウウウウン」と太文字が揺れ、ブレーキ音の「キュー!!!!」という細い字が振り子のように動いた。
 取材に訪れたのは朝のラッシュが過ぎた時間帯だった。それでも数分間隔で電車が慌ただしく行き交い、「ルルルルルルルルル」(発車を告げる音)や「ピポン ピポン」(ホームドアが閉まる際の音)、「ヒュゥゥゥゥゥゥ」(電車が走り出す音)といった文字や手話動画が次々に映し出された。
 気にするそぶりもなく通り過ぎる人がほとんどだ。だが時折、興味深そうに立ち止まったり、スマートフォンを向けたりする人の姿もあった。熱心にエキマトペの画面を眺めていた高齢の男性はニュースでこの装置を知り、実際に見てみようと立ち寄ったという。

「エキマトペ」の表示メッセージのコラージュ(表示メッセージはエキマトペHPより)

 ▽「正解の音たち」

 エキマトペの名は、オノマトペ(擬態語、擬音語)にちなんで付けられた。開発した富士通によると、リアルタイムでマイクで集音した音を人工知能(AI)が瞬時に識別、視覚化して表示している。きっかけとなったのは聾学校に通う子どもたちの声だという。電車での通学について意見を募ったところ「電車がホームに近づいてきたのに気付かず怖い思いをした」「文字だけではなく手話通訳があると分かりやすい」などという声が上がった。
 アイデアを形にしようと、JR東日本と大日本印刷、富士通で共同プロジェクトが始まった。多くの路線が乗り入れる上野駅では、他のホームの音を拾ってしまうこともあり、識別の精度を上げることに苦労した。手話動画には実際に同駅で働く駅員に登場してもらった。
 「私は驚いた 1番線に快速 点字ブロックまで下がる そんなこと言っていたの?」
 9月上旬、ツイッターに投稿された「正解の音たち」という漫画は、重度の難聴がある女性がエキマトペに出会った時の驚きを描いたものだ。
 作者のうさささんによると、看板を見れば、ここがどこの駅でどの電車が来るのかなど、最低限必要な情報を把握することはできる。しかし、ホームで流れるアナウンスや電車の発着音などは判別できず、本などで知った音の知識と照らし合わせながら、どんな音なのかを予測してきた。
 「えッ この音『ヒューン』なのか!」。エキマトペと出会い、これまで知ることのなかった音に触れ「聞こえる人にとても近い形でここに立てた」と喜びをかみしめた。うさささんは「音に関するものは全て予測だらけの世界で生きている私にとって、正しい音を知ることはとても大事なこと。ホームでの風景が一気に変わった」と振り返った。

うさささんがツイッターに投稿した漫画「正解の音たち」から  (C)うささ/白泉社 kodomoe

 投稿した漫画には、これまで18万回以上の「いいね!」が付いた。「自分も人を助けるものを開発したい」「耳の聞こえない人の世界を知ることで自分の世界まで広がったような気がした」といった声が次々に寄せられた。
 うさささんは、聴覚障害がある当事者として子育てをする日常を漫画で発信することで「聞こえない人が聞こえる人の世界を不思議に思うように、聞こえる人も聞こえない人の世界を不思議に思うものなのだな」と気付いたという。
 しかし、障害については必ずしも理解されていないと感じている。補聴器をつけていても決して鮮明に聞こえるわけではなく、普段は相手の口の形を読み取ることで会話をしている。ある時、うまく読み取ることができず「口を大きく、ゆっくり話していただけますか」と伝えると、相手が突然耳元に顔を近づけて大きな声で話し始め、困惑したこともあった。

 ▽空港や街にいろんな「マトペ」を

 プロジェクトリーダーをつとめた富士通の本多達也さん(32)は、障害がある当事者に正確な情報が伝わるだけではなく、耳が聞こえる人にとっても楽しいと感じられることを意識したという。本多さんは大学時代、手話サークルを立ち上げるなど聴覚障害のある人たちと交流を深め、音を光や振動で伝える「Ontenna(オンテナ)」というデバイスの開発にも取り組んできた。

「エキマトペ」とプロジェクトリーダーを務めた富士通の本多達也さん=9月、東京都港区

 そうした経験から「テクノロジーが進化していく中で音声認識の精度も上がり、近い未来にこれまで得られなかった情報を可視化して伝えることは可能になる」と予測する一方、最後はやはり人と人同士の関わりが欠かせないとも強調する。「エキマトペを見ることで、聴覚障害ってどんなものなのか。どんなことに困っているのか。そういうことに思いをはせ、理解を深めるきっかけにしてほしい」という。
 上野駅での実証実験は12月中旬で終了する予定だ。今後については未定だが、本多さんは「実用化を目指して各地の駅に設置することや、空港に置く『ソラマトペ』や街での『マチマトペ』などさまざまなアイデアもある。『そのマトペ必要?』といったことも含め、当事者と一緒に考えていきたい」としている。

関連の動画はこちら https://www.youtube.com/watch?v=1PgKNCTVjTc

© 一般社団法人共同通信社