リーガルテクノロジーは、相互参照、判例、複雑な論拠を含む数百ページに及ぶ契約書や訴訟書類を扱います。弁護士は、キーワードマッチングによる断片的な部分だけでなく、文脈全体を真に理解できるAIを必要としています。 医療システ… 続きを読む »

このタスクでは、200万トークン（複数の書籍全体）を超える文書全体に事実を隠蔽し、AIにそれらの隠された詳細を見つけて関連付けさせるような質問をします。 世界で最も強力かつ高価なモデルの一つであるGPT-4が、深刻な問題… 続きを読む »

メモリアーキテクチャは物理構造を決定します。メモリは単純なベクトル（リスト）にすべきか、行列（グリッド）にすべきか、それともディープニューラルネットワークのようなより複雑なものにすべきか。この選択は、保存できる情報量と、… 続きを読む »

従来のAIモデルは、記憶を単純なベクトル行列、つまり本質的には構造や理解力のない数字のリストとして保存していました。Titansはこれをはるかに洗練されたものに置き換えます。多層パーセプトロンは、本質的にはニューラルネッ… 続きを読む »

Titans が革新的なのは、単に記憶容量を増やすだけでなく、生物学的脳が実際に行うのと同じように記憶を整理する点です。 神経科学者たちは数十年前から、人間の記憶は一枚岩ではないことを理解してきました。私たちは、あらゆる… 続きを読む »

Transformer がテキストを処理する際、関係性を理解するために、すべての単語を他のすべての単語と比較する必要があります。10語の文であれば、100回の比較、100語であれば1万回の比較、10万語の本であれば100… 続きを読む »

現代の AI モデルは、2017 年に導入されて自然言語処理に革命をもたらした Transformers と呼ばれるアーキテクチャに基づいて構築されています。Transformers は単語間の関係を理解するのに優れてい… 続きを読む »

GoogleのDeepMindは、AIの記憶処理を根本的に再考する2つの研究論文を発表しました。TitanとMIRASは漸進的な改善ではなく、機械が数百万語に及ぶ文脈において情報を保持、整理、そして検索する方法におけるパ… 続きを読む »

ChatGPT とのこれまでのすべての会話には致命的な欠陥がありました。 幻覚の問題でも、たまに間違った答えを言う問題でもありません。もっと根本的な問題です。AIは会話の冒頭であなたが言ったことを全て徐々に忘れていってい… 続きを読む »

カール・ユングは1934年から1939年にかけてニーチェの『ツァラトゥストラ』について議論した数々のセミナーで、次のように述べた。 「もしあなたが自分自身に特有のパターンを実践するなら、あなたは自分自身を愛し、蓄え、豊か… 続きを読む »