引用ジャングル

モデルは、「the」の後に名詞が続くことが多いこと、質問が「who」または「what」で始まることが多いこと、文がピリオドで終わることを学習します。

次に、単語の並び方を理解します。これは通常、文法と呼ばれます。モデルは、学校で習うような規則 (「動詞はここに、名詞はあそこに」) で文法を学習するわけではありません。代わりに、人々が実際にどのように書くかを示す何百万もの例を見て学習します。モデルは、「The cat sat」は正しく、「Cat the sat」は正しくないことを学習します。これは単に、読み物の中で、あるパターンが他のパターンよりもはるかに多く見られるからです。

最後に、意味理解に非常に似ているものが現れ始めます。モデルは、「猫はマットの上に座った」と「猫は敷物の上で休んだ」が、異なる単語を使用しているにもかかわらず、同様の意味を持つことを理解し始めます。また、「bank」は「川岸」と「銀行口座」では異なる意味を持つことを学習します。