DeepMind、Anthropic、MIT、スタンフォードの研究者たちは、さまざまな研究で、LLMの内部状態は、オブジェクト間の空間的関係（イベントとその結果をつなぐ因果構造）と時間的シーケンス（時間）、エンティティの… 続きを読む »

研究者たちはGPTスタイルのトランスフォーマーを使って、ボードゲーム「オセロ」の合法的な一連の動きを学習させた。入力したのは動きのシーケンスだけで、それ以外は何も与えなかった。駒の意味や、何が勝利となるのかといった説明も… 続きを読む »

モデル内部では、各処理ステップの後に興味深いことが起こります。モデルは、読み込んでいるテキストの内容に関する内部の「最善の推測」を更新します。例えば、犯罪小説を1ページずつ読んでいるとしましょう。次のページを読み進めるに… 続きを読む »

LLMの内部状態は非常に高次元の空間です。700億個のパラメータを持つLlama 3（安らかに眠れ）は、数万次元の隠れた状態を持っています。その空間内の各位置は、モデルの内部表現の何らかの構成に対応しており、コンテキスト… 続きを読む »

電卓の仕組みを理解したいなら、回路図を見ます。人間が設計した回路図はどこかに存在し、その論理をたどることができます。しかし、人間の脳が「何か食べなければ」という思考を生み出す仕組みを理解しようとすると、大変なことになりま… 続きを読む »

研究者は、成果が出るまでに何年もかかる可能性のあるリスクの高い問いを追求するよりも、測定可能な成果を継続的に生み出すよう促される。研究は、より小さな出版可能な単位に細分化されることがあり、これは「サラミスライス」と呼ばれ… 続きを読む »

ついにその時が来た。中国有数のAI研究所であるZhipuが、AIの分野で先例となる可能性のあるモデルを発表した。私の知る限り、これは中国のAIモデルとしては初めて、純粋な性能において米国のトップモデルと実際に競合できるも… 続きを読む »

「最も興味のあることを、最も型破りで、不遜で、独創的な方法で一生懸命研究しなさい」 これがファインマンの思考習慣だ。それが彼を天才にしたのだ | トーマス・オッポング著 | 2026年6月 | Medium

皮肉なことに、大気汚染対策によって空気の質が改善したことも問題の一因となった可能性がある。大気中の微粒子が減少したことで、太陽光を宇宙へ反射する遮断効果が弱まったためだ。 「人が死んでいっている」…エアコンをタブー視して… 続きを読む »

フランスは欧州諸国の中でも特にエアコンの普及率が低い。フランス環境移行庁によると、2025年時点の住宅におけるエアコン普及率は24％程度だ。2023年の18％から2年間で大きく増えたものの、依然として住宅4軒のうち3軒に… 続きを読む »