話題の『Google翻訳』のリアルタイム翻訳ってどこまで使えるの？　いろんなフォントで試してみた！

リアルタイムカメラ翻訳に使われている技術について

精度を確かめる前に、リアルタイムカメラ翻訳にはどんな技術が使われているのでしょうか？

ちょっと考えてみました！

画像認識技術

iTunesより引用

カメラ画像から文字への変換を行う際に使われていると考えられます。人気のカメラアプリ『SNOW』、『Snapchat』などでも人間の顔を認識するために、この画像認識技術が使われています。最近はディープラーニングによってどんどん精度が向上しています。

翻訳技術

以前よりGoogle翻訳の精度の高さは話題になっていましたが、これもディープラーニングによるものです。現在、Google翻訳にはNeural Machine Translation(NMT)というニューラルネットワークを応用して精度を向上させる技術が搭載されていると発表されています。

ニューラルネットワークというのは、ディープラーニングに活用されている人間の脳神経の構造を模した情報技術モデルのことです。これによって、従来は文章を文節に区切って翻訳することしかできませんでしたが文章全体をみて翻訳することが可能になり、より自然に正確に翻訳することができるようになりました。

AR（拡張現実）技術

iTunesより引用

ポケモンGOでも話題になったAR（Augmented Reality）技術とは、現実世界で人間が感知できる情報に「何か別の情報」を付け加え、現実を拡張表現する技術や手法のことです。翻訳した文章をカメラ画像の中に埋め込む際にこの技術が用いられています。

そしてこれらの技術は各々のスマホの中で動作しているわけではなく、Googleのクラウド側で動作しています。そのため世界中のユーザーの画像がGoogleに蓄積させることができます。その画像データはディープラーニングの学習データとなるため、今後どんどん精度が増していくと予想されます。

実際にどこまで読み取れるか試してみる

整ったフォント 「メイリオ」、「MS　明朝体」、「MS　Pゴシック」で書いた英文を印刷したものを翻訳してみます。今回使っている英文は、私が大好きな海外ドラマ『gossip girl』のセリフから引用させていただきました。

- I don’t want to be safe. I want to be with you.

「メイリオ」はかなり読み取りやすかったようです。意味的にもまあまあ翻訳できてる気がします。ちなみに、このセリフはドラマ内最強のビッチが、可愛い一面を見せるシーンです。

• Three words, eight letters...say it and I’m yours.

「I love you」って言ってよ！っていうセリフ。「MS ゴシック」です。「メイリオ」と比べると少し読み取りにくかったようで、「I’ m」にうまく反応してくれなかったみたいです。惜しい。そして、私も愛してるって言われたいです。

• My heart is, and always will be yours.

「MS　明朝」です。これも「メイリオ」と同じくらい読み取りやすかったです。ドラマのセリフのような文章は綺麗に翻訳するのは難しかったみたいですが、意味はわかるレベルです。

３種類のフォントの文字をリアルタイム翻訳してみましたが、このように比較的整ったフォントであれば確実に読み取ることができるようです。

手書きの文字

では、手書きの文字はどうでしょうか？

綺麗に書くことを意識したものなら余裕で読み取れました。単語であれば翻訳もバッチリです。ちなみにこれは私の嫌いな食べ物と好きな食べ物です。（どうでもいい）

もうすこし崩した文字で書いた長めの文章だとこんな感じでした。マリリンモンローの名言を書いてみました。読み込めているところもあるけれど全体としては翻訳できていないような状態です。内容がハイレベルすぎて、私もよく意味がわかりません。

ロゴタイプのフォント

綺麗なフォントや綺麗な手書きの文字は読み込めました。崩した文字はどこまで読み取れて、どこから読み取れないのかを探るために、ロゴタイプのフォントがたくさんありそうな横浜の『古着屋FunnyFace』さんへ行ってみました。

読み込めそうなロゴが入っている洋服にGoogle翻訳のカメラを向けていきます。

…「１つ」！！めっちゃいい感じに翻訳されてるじゃないですか！

「釣りクラブ　サンタ島の歴史」。

…別にいいんだけど、英語で書いてあるから様になってたんだなあ〜と思ってしまいます。直線的に書かれていない文字は読み込めないようです。

めっちゃ「パリ」！！！角度にもよりますが概ね読み取れているようです。やはり単語だけであれば翻訳もスムーズなようです。

こちらは、バンドTシャツ。「DESTROYER」以外は全く読み込めませんでした。おそらく「破壊者」的なニュアンスで使われ「駆逐艦」っていうのもなかなかイケてる！

「Dior」のスカーフ。確かに伊勢丹にはDior必ずあるけど…うまく読み取れなかったようです。

この２枚については一生懸命いろんな角度から試してみましたが、ほとんど反応してくれませんでした。

ロゴタイプのフォントは崩れ度合いやデザインによってギリギリ読み取れたり、読み取れなかったりという結果でした。

今後の可能性について

今後、『Google翻訳』のリアルタイムカメラ翻訳は、さらに精度が上がっていくことが期待されます。精度が十分に高まれば、テレビ会議越しに外国語で書かれたホワイトボードや資料のリアルタイム翻訳が可能になったりしそうです。 Microsoftより引用

また、Microsoftが出している「HoloLens」のような商品と組み合わせれば、世界中どこを旅していても標識や看板が読めるような世界中、俺の庭状態も実現可能かもしれません。想像しただけでもドキドキしちゃいます！これからが楽しみですね。