人の言葉を真似ることは、実際には世界のモデルを構築することには全くなりません。あなたが真似しているのは、世界のモデルを持つもの、つまり人間です。敵対的なアプローチをしたくはありませんが、人間が世界モデルを持っているという… 続きを読む »

知能とは何か？問題は、自分の世界を理解することです。強化学習は自分の世界を理解することですが、大規模言語モデルは人間の真似をし、人間が言うべきことを実行することです。何をすべきかを考えることではありません。 RLの父リチ… 続きを読む »

QLoRA は、LoRA と量子化を組み合わせることで効率をさらに高めます。 量子化は、数値の精度を下げることでモデルを圧縮します。通常の重みは0.123456789のような値を表現できる32ビットの数値として保存されま… 続きを読む »

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「i… 続きを読む »

700億パラメータのモデルを微調整するには、数万ドルもするハイエンドGPUを複数台必要とします。メモリ要件だけでも500GBを超え、学習にはクラウドコンピューティングの料金で数千ドルかかることもあります。そのため、資金力… 続きを読む »

あらゆる書籍、記事、文書を読み漁りながらも、貴社特有のニーズや業界のニーズについては全く知らない優秀な従業員を雇ったと想像してみてください。彼らは一般知識は豊富ですが、追加のトレーニングを受けなければ、貴社の特定の課題を… 続きを読む »

ケブラー®は、1965年にデュポン社で、新しいタイプの耐火性ポリアミド繊維の合成を任されていたステファニー・クオレクが、新しい特性を持つ繊維に偶然出会ったときに発明されました。 彼女は思いがけず、特定の条件下では多数のポ… 続きを読む »

シリコン太陽電池の仕組みは、シリコン片のpn接合に光が当たることで電流が生成されるというもので、1940年にベル研究所で偶然に初めて発見されました。 ベル研究所のエンジニア、ラッセル・オールは、亀裂の入ったシリコン棒が奇… 続きを読む »

電子レンジの仕組みは、1945 年にレイセオン社のペリー スペンサーが偶然発見したことで有名です。スペンサーは、ポケットに入れたキャンディー バーが、当時作業していたマイクロ波レーダーによって溶けていることに気づいたので… 続きを読む »