ClaudeやChatGPTを複数の言語で使ったことがあるなら、きっと驚くべきことに気づいたはずです。フランス語で質問すれば、フランス語で答えてくれます。会話の途中で中国語に切り替えても、シームレスに追従します。まるで魔法のようですが、中身を見てみると、実際は想像以上にシンプルでありながら複雑です。

AIについて人々と話すと、必ずと言っていいほどある質問が出てきます。「AIはまずすべてを英語に翻訳し、それからまた翻訳しているのですか？」と。それももっともな推測です。結局のところ、インターネットのほとんどは英語で、これらのモデルは膨大な量の英語テキストで学習しています。もしかしたら、社内向けの翻訳サービスを運営しているだけなのかもしれません。

アントロピック社の最近の調査は、明確な答えを与えています。「いいえ、そうではありません」。

アントロピックのチームは最近、Claudeが内部で複数の言語をどのように処理するかを調査する詳細な研究を発表しました。

彼らの主要な発見は、LLMはハイブリッドなアプローチを採用しているというものでした。計算の一部は言語に特化していますが、中核となる推論は言語に依存しない形式で行われます。

実際にはこうなります。クロードに「『小さい』の反対は？」と3つの異なる言語で尋ねると、興味深いことが起こります。

・英語：「『小さい』の反対は」→大きい
・フランス語: 「Le contrare de ‘petit’ est」→ grand
・中国語: 「小的反义词是」 → 大

このモデルは、驚くほど類似した内部回路を使用して 3 つすべてを処理します。

それぞれの高レベルのストーリーは同じです。モデルは言語に依存しない表現を用いて、「small」の反意語について質問されていることを認識します。これにより反意語の特徴がトリガーされ、smallからlargeへのマップが仲介されます。