アラン・バデリーは1974年に人間のワーキングメモリのモデルを発表し、それは今日に至るまで主流の枠組みであり続けている。私が講義で使用しているバージョンは4つの構成要素から成り立っており、LLMとの違いが重要なので、ここ… 続きを読む »

LLMはすべての入力トークンを並列処理し（そのためLLMはGPUを好むのです）、その後、コンテキストウィンドウ全体にわたって注意を計算します。人間の脳は言語を再帰的に、つまり単語ごとに処理し、以前の表現と後の表現の間で絶… 続きを読む »

孫氏とその仲間たちは、2024年のある時期にこの研究をさらに発展させ、LLMの人工ニューロンのサブグループを、人間の特定の機能的脳ネットワークにマッピングしました。これには、「デフォルトモードネットワーク」（外界に意識を… 続きを読む »

2025年、アルカミッシと彼のウンパルンパたちは、神経科学的なアプローチを用いて、LLMにおける因果的にタスクに関連するユニット（特定の能力を実際に担うモデルの部分）を特定し、彼らが「言語選択性ユニット」と呼ぶもの、つま… 続きを読む »

Anthropicのメカニズム解釈チームは、2024年にスパースオートエンコーダーと呼ばれる手法をクロード・ソネット第3番に大規模に適用した研究結果を発表しました。そこで得られた知見は、じっくりと考察する価値があります。… 続きを読む »

単一のニューロンは、文脈に応じて、一見無関係に見える複数の概念、時には多数の概念に反応します。Anthropicの2022年の解釈可能性に関する研究は、私にとって啓発的でした。なぜなら、小型トランスフォーマー内の個々のニ… 続きを読む »

私たちは今や1日でヒトゲノムの配列を決定し、50年間生化学者を悩ませてきたタンパク質の折り畳み構造を予測できるようになった。それなのに、GPT-4の単一のニューロンが実際に何をしているのか、あるいはクロードがあなたが与え… 続きを読む »

家具会社は今も家具を作り続けている。サプライチェーンチームは今もサプライチェーン業務を続けている。デジタル化すらされていないプロセスは、未だにA4用紙とファックスで運用されている。LLMがコードを生成できるようになったか… 続きを読む »

自分たちが築き上げてきたものがもはや意味をなさないと感じ始める者もいた。そして、一度その感情が芽生えると、深刻なダメージを与える。私たちは何年もかけて、誇りを持てるものを作り上げてきた。ところが今や、AIはわずか数時間で… 続きを読む »

2025年末に状況は一変した。 Opus 4.5がリリースされた時、まるで天候が一夜にして変わったかのようだった。ソーシャルメディアは、それがプログラミングにもたらす革命的な変化への畏敬の念で溢れかえった。しかしその後、… 続きを読む »