「ほとんどの奴は一度怒鳴られたら、諦めてもう来なくなる。その程度の稟議だったということだ。本当に必要な稟議なら、逃げずにやって来るはずだ。君は、本当にやりたいと思ったから、何度怒られながらも持ってきたんだろう。だから僕は… 続きを読む »

“ランチェスターの法則”を勉強して、『悪いときは一点突破しかない』と考えていたからです。一点突破して成功体験をつくり、自信を持たせてから他の施策へ広げていく。 コンビニの神様・鈴木敏文が最後まで手放さなかった…恵方巻の仕… 続きを読む »

そんなとき偶然、担当店オーナーが大阪出身で「関西には恵方巻という風習がある」と聞かされた。きっかけは何でもよかった。売り上げを上げる起爆剤として「恵方巻を予約商材として取り組んでみよう」という話になった。 　いまでこそ恵… 続きを読む »

研究者らは、GPTモデルにおける特定の事実関係は、ネットワーク全体に均等に分布しているのではなく、中間層のフィードフォワードモジュール内の特定可能な計算に局在していることを認識しました。これは素晴らしい発見です。しかし実… 続きを読む »

重みが事実関係を符号化する方法はデータベースとは異なります。重みを開いて「フランスの首都はパリ」というエントリを見つけることはできません。この関連性はフィードフォワード層とアテンション機構の重み行列全体に分散され、パラメ… 続きを読む »

LLMにはコンテキストウィンドウと呼ばれるものがあり、これは推論時にモデルの入力に物理的に存在する入力テキストのセグメントです。このコンテキストウィンドウ内のすべては、アテンションメカニズムと呼ばれるコンポーネントからア… 続きを読む »

アラン・バデリーは1974年に人間のワーキングメモリのモデルを発表し、それは今日に至るまで主流の枠組みであり続けている。私が講義で使用しているバージョンは4つの構成要素から成り立っており、LLMとの違いが重要なので、ここ… 続きを読む »

LLMはすべての入力トークンを並列処理し（そのためLLMはGPUを好むのです）、その後、コンテキストウィンドウ全体にわたって注意を計算します。人間の脳は言語を再帰的に、つまり単語ごとに処理し、以前の表現と後の表現の間で絶… 続きを読む »

孫氏とその仲間たちは、2024年のある時期にこの研究をさらに発展させ、LLMの人工ニューロンのサブグループを、人間の特定の機能的脳ネットワークにマッピングしました。これには、「デフォルトモードネットワーク」（外界に意識を… 続きを読む »

2025年、アルカミッシと彼のウンパルンパたちは、神経科学的なアプローチを用いて、LLMにおける因果的にタスクに関連するユニット（特定の能力を実際に担うモデルの部分）を特定し、彼らが「言語選択性ユニット」と呼ぶもの、つま… 続きを読む »