精度向上が目覚ましい自然言語処理モデルだが、文脈から単語の意味を判断するのはあまり得意ではない。ただ、Googleによる自然言語処理モデルBERTに関しては、子どもがするように言語を習得し、文法まで理解するようだ。

スタンフォード大学の研究者は、BERTに穴埋め問題を大量に解かせることで、言語の構造を理解することを発見した。

文脈によって異なる単語の意味を正しく解釈

研究者は、モデルにラベル付けしたデータセットで文法構造を教え込むのではなく、子どもに単語穴埋めゲームを解いてもらう要領で虫食い課題を与えた。

研究者は、欠落している単語の予測精度を向上させる際に、モデルが単に文章中の近接する単語を関連付けていると想定していたが、実際は、主語、述語、目的語……といった文法まで学習していることを発見。これにより、例えば「彼女」が誰のことを指しているかがわかり、何をしているかの推測がより正確になる。

あるいは、人間が自然に行っているように、文脈によって異なる単語の意味を正しく解釈できるという。

言語間に共通する規則も理解

さらには研究者による別の研究で、BERTがさまざまな言語間に共通する、あるいは異なる文法規則を学習していることがわかった。つまり、システムがいくつかの言語を学習すれば、別の言語をより簡単に学習でき、従来トレーニングがむつかしいとされていた少数言語に対してもこれがあてはまる。

2つの研究結果は、翻訳や文章生成、要約……といったタスクを担うAIシステムの開発に影響を与えそうだ。

参照元：How AI Systems Use Mad Libs to Teach Themselves Grammar/ Stanford University