by 日沼諭史
筆者が使用しているGoogle Pixel 8 Proを含むPixelシリーズでは、端末で再生している音声をほぼリアルタイムで字幕表示する「自動字幕起こし」という機能が使える。
日本語や英語をはじめ複数の言語に対応し、動画やポッドキャスト、通話などの音声を文字で確認でき、音量がゼロでもちゃんと字幕表示してくれる。スピーカーから音を出したくないけれどイヤフォンがない、みたいな場面でも字幕で音声を理解できる、なかなか優れた機能だ。
しかも音声をそのまま字幕化するだけでなく、他の言語に翻訳して表示することも可能。なので、たとえば字幕表示には対応しているけれど他言語への翻訳はできない音声・動画コンテンツのときに、英語音声を日本語字幕にしたり、その逆にしたりするのにも活躍してくれる。
「これは英語の勉強に使えそうだ！」と思ったのだけれど、表示される範囲が狭くて実用的な文字サイズにすると2行程度しか見えず、翻訳させた場合はそこそこタイムラグが発生する。英文を素早く読むトレーニングには向いているかもしれないが、コンテンツの中身もしっかり楽しめるかというと、ちょっと難しい感じ。
それに、ただただリーディングに特化して勉強するだけでは面白くない。翻訳されたものを同時に音声で出力させてリスニングの勉強にも活かせないかなあ、なんて思った。あいにくPixelの自動字幕起こしは字幕表示しかできず音声出力はできないので、何か別の方法を考えなければならない。既存のアプリやら何やらを組み合わせてなんとか実現しようと、いろいろ試してみることにした。
試行錯誤するなかで、多少はイメージに近いものになったかな、と思うのが、翻訳アプリ「Microsoft Translator」を利用する方法だった。端末を3台用意する必要があるのでなかなかハードル高めだが、「日本語音声の動画を見ながら英語音声で聞き取る」ことは一応可能になる。
上に図示したものもあわせてご覧いただきたいが、まずは「A.音声・動画再生用端末」「B.その音声をマイクで聞き取る端末」「C.翻訳した文章と音声を出力する端末」の3つを用意する。B端末にTranslatorアプリをインストールし、言語を日本語に設定したうえで「会話」を開始、さらにC端末でその会話セッションにTranslatorアプリで（英語の設定にして）参加する。
その後、C端末の会話セッションの設定で音声出力（メッセージの自動再生）を有効にすると、A端末で再生された日本語音声がB端末を経由して翻訳され、C端末上で英語音声として聞き取れるようになる。めちゃくちゃ回りくどいうえに、やっぱりタイムラグもあるし、音声の認識・翻訳精度も若干微妙なので、正直に言えば実用性はイマイチだけれども……。
リスニングの勉強をしたいなら最初からネイティブの音声を聞け、という話ではあるのだけれど、日本語のバラエティ番組などで中身も楽しめれば学習のモチベーションにつながりやすかったりもするわけで。もっと簡単に、リアルタイムで高精度に音声通訳してくれるような仕組みができるといいなあ、と思う。
