おそらく見逃したGoogleからの驚くべきAI発表。

バベルの塔(Marten van Valckenborch [パブリックドメイン]、ウィキメディアコモンズ経由)

免責事項:私はニューラルネットワークや機械学習の専門家ではありません。もともとこの記事を書いて以来、これらの分野で私よりもはるかに多くの専門知識を持つ多くの人々は、印象的であるが、Googleが達成したことは革新的であり、革新的ではないことを示しています。少なくとも、テキストの一部で擬人化を行ったと言っても過言ではありません。

この記事の内容を変更せずに残しました。なぜなら、私が持っていた腸の反応を、その後のこの分野の専門家のコメントと比較するのは面白いと思うからです。記事を読んだ後にコメントを参照することを強くお勧めします。

2016年の終わりの週に、Googleはほとんどの人のレーダーの下で静かに航行する記事を公開しました。昨年読んだ機械学習に関する最も驚くべき記事かもしれないからです。

見逃したとしても気を悪くしないでください。クリスマス前のラッシュと競合する記事は、私たちのほとんどがナビゲートしていただけでなく、GoogleのリサーチブログのGoogleの多言語ニューラル機械翻訳システムによる熱狂的な見出しZero-Shot Translationの下にも隠れていました。

これは正確に読まなければならない悲鳴ではありませんか?特に、プロジェクトが終了し、購入するギフトがあり、家族の確執を解決する必要がある場合は、アドベントカレンダーがクリスマスまでの日を執chocolateにカウントダウンします。

幸いなことに、私はあなたをスピードアップするためにここにいます。これが取引です。

昨年の9月まで、Google翻訳はフレーズベースの翻訳を使用していました。ロンリープラネットの言語ガイドで重要な単語やフレーズを検索するときに、基本的にあなたと私が同じことをしました。これは十分に効果的であり、フランス語の「チーズをすべて持ってきて、私が倒れるまで止めないでください」に相当するたくさんのページを不器用にたたくのに比べて非常に高速です。しかし、ニュアンスが欠けています。

フレーズベースの翻訳は鈍器です。それはうまくやっていくのに十分な仕事をします。ただし、言語構造を理解せずにほぼ同等の単語やフレーズをマッピングしても、大雑把な結果しか得られません。

このアプローチは、利用可能な語彙の範囲によっても制限されます。フレーズベースの翻訳には、認識できない単語を知識に基づいて推測する能力がなく、新しい入力から学習することもできません。

Googleが翻訳ツールに新しいエンジンであるGoogle Neural Machine Translation system(GNMT)を提供した9月にすべてが変わりました。この新しいエンジンには、ニューラルネットワークや機械学習などの2016年の流行語がすべて満載されています。

短いバージョンは、Google翻訳がスマートになったことです。それを使用した人々から学ぶ能力を開発しました。フレーズの他の単語やフレーズのコンテキストに基づいて、フレーズの内容、トーン、および意味について知識に基づいた推測を行う方法を学びました。そして、ここにあなたの脳を爆発させるはずのビットがあります-それは創造的になりました。

Google翻訳は、独自の言語を発明して、翻訳の効率を高めました。

さらに、誰にも言われませんでした。コーディングされているため、言語(またはGoogleが呼ぶインターリンガ)を開発しませんでした。ソフトウェアが時間の経過とともに、これが翻訳の問題を解決する最も効率的な方法であると判断したため、新しい言語を開発しました。

停止して、しばらくの間考えてください。沈めましょう。コンテンツを人間の言語から別の言語に翻訳するように設計されたニューラルコンピューティングシステムは、タスクをより効率的にするために独自の内部言語を開発しました。そうするように言われることなく。数週間で。 (メモのこの段落の修正/撤回を追加しました)

何が起こっているのかを理解するには、ゼロショット翻訳機能とは何かを理解する必要があります。以下は、元のブログ投稿のGoogleのMike Schuster、Nikhil Thorat、およびMelvin Johnsonです。

日本語⇄英語および韓国語⇄英語の例を使用して多言語システムをトレーニングするとします。単一のGNMTシステムと同じサイズの多言語システムは、これら4つの異なる言語ペア間で翻訳するためのパラメーターを共有しています。この共有により、システムは「翻訳知識」を1つの言語ペアから他の言語ペアに転送できます。この転移学習と複数の言語間での翻訳の必要性により、システムはそのモデリング機能をより適切に使用する必要があります。
これにより、私たちは次の質問をするようになりました。システムがこれまでに見たことがない言語ペア間で翻訳できますかこの例は、韓国語と日本語の間の翻訳で、韓国語⇄日本語の例はシステムに表示されません。驚くべきことに、答えはイエスです。たとえそうするように教えられたことがなくても、合理的な韓国語⇄日本語の翻訳を生成することができます。

ここでは、古いフレーズベースのアプローチに対するGoogleの新しいニューラルマシンの利点を確認できます。 GMNTは、明示的に教えられることなく、2つの言語間で翻訳する方法を学ぶことができます。これは、フレーズベースのモデルでは不可能です。フレーズベースのモデルでは、翻訳対象の各言語ペア間で単語やフレーズをマッピングするための明示的な辞書に依存しています。

そして、これにより、Googleエンジニアは創造の驚くべき発見に導かれます。

ゼロショット翻訳の成功は、別の重要な問題を提起します。システムは、言語に関係なく同じ意味の文が同様の方法で表現される共通表現、つまり「interlingua」を学習していますか?内部ネットワークデータの3次元表現を使用して、日本語、韓国語、英語のすべての可能なペア間で一連の文を翻訳する際に、システムを覗き込むことができました。
単一のグループ内で、3つの異なる言語からの同じ意味の文が表示されます。つまり、ネットワークは、フレーズからフレーズへの翻訳を単に記憶するのではなく、文のセマンティクスについて何かをエンコードする必要があります。これは、ネットワーク内のインターリングアの存在の兆候として解釈します。

だからあなたはそれを持っています。 2016年の最後の数週間、世界中のジャーナリストが「これが生きた記憶の中で最悪の年だった」という考えを書き始めたとき、Googleのエンジニアはソフトウェアエンジニアリングと言語学の真に驚くべきブレークスルーを静かに記録していました。

知りたいのではないかと思いました。

何が起こっているのかを本当に理解するには、おそらく複数のコンピューターサイエンスと言語学の学位が必要です。ここで表面をかろうじて削っています。いくつかの学位を取得する時間がある場合(または、すでに取得している場合)、私に連絡を取り、説明してください。ゆっくり。

更新1:私の興奮の中で、少なくとも人間の知性と意思決定について考える限り、私はこれを「インテリジェント」システムとしての考えを誇張したと言ってもいいでしょう。より冷静な視点については、記事の後にクリスマクドナルドのコメントを必ず読んでください。

更新2:ナフロンデルの優れた詳細な回答は、ニューラルネットワークの機能に関する専門家の説明を読む必要があります。