Anthropicのメカニズム解釈チームは、2024年にスパースオートエンコーダーと呼ばれる手法をクロード・ソネット第3番に大規模に適用した研究結果を発表しました。そこで得られた知見は、じっくりと考察する価値があります。… 続きを読む »
「引用ジャングル」カテゴリーアーカイブ
単一のニューロンは、文脈に応じて、一見無関係に見える複数の概念、時には多数の概念に反応します。Anthropicの2022年の解釈可能性に関する研究は、私にとって啓発的でした。なぜなら、小型トランスフォーマー内の個々のニ… 続きを読む »
私たちは今や1日でヒトゲノムの配列を決定し、50年間生化学者を悩ませてきたタンパク質の折り畳み構造を予測できるようになった。それなのに、GPT-4の単一のニューロンが実際に何をしているのか、あるいはクロードがあなたが与え… 続きを読む »
家具会社は今も家具を作り続けている。サプライチェーンチームは今もサプライチェーン業務を続けている。デジタル化すらされていないプロセスは、未だにA4用紙とファックスで運用されている。LLMがコードを生成できるようになったか… 続きを読む »
自分たちが築き上げてきたものがもはや意味をなさないと感じ始める者もいた。そして、一度その感情が芽生えると、深刻なダメージを与える。私たちは何年もかけて、誇りを持てるものを作り上げてきた。ところが今や、AIはわずか数時間で… 続きを読む »
2025年末に状況は一変した。 Opus 4.5がリリースされた時、まるで天候が一夜にして変わったかのようだった。ソーシャルメディアは、それがプログラミングにもたらす革命的な変化への畏敬の念で溢れかえった。しかしその後、… 続きを読む »
DeepMind、Anthropic、MIT、スタンフォードの研究者たちは、さまざまな研究で、LLMの内部状態は、オブジェクト間の空間的関係（イベントとその結果をつなぐ因果構造）と時間的シーケンス（時間）、エンティティの… 続きを読む »
研究者たちはGPTスタイルのトランスフォーマーを使って、ボードゲーム「オセロ」の合法的な一連の動きを学習させた。入力したのは動きのシーケンスだけで、それ以外は何も与えなかった。駒の意味や、何が勝利となるのかといった説明も… 続きを読む »
モデル内部では、各処理ステップの後に興味深いことが起こります。モデルは、読み込んでいるテキストの内容に関する内部の「最善の推測」を更新します。例えば、犯罪小説を1ページずつ読んでいるとしましょう。次のページを読み進めるに… 続きを読む »
LLMの内部状態は非常に高次元の空間です。700億個のパラメータを持つLlama 3（安らかに眠れ）は、数万次元の隠れた状態を持っています。その空間内の各位置は、モデルの内部表現の何らかの構成に対応しており、コンテキスト… 続きを読む »