教師あり学習は自然界では起こりません。たとえ学校で起こったとしても、それは人間に起こる特別な現象なので、忘れるべきです。自然界では広く起こりません。リスは学校に通いません。リスは世界のあらゆることを学ぶことができます。動… 続きを読む »

ゲーセンは毎日ＵＦＯキャッチャーに入れられた金額を見て損をしないようにアームの強さやツメを調節します。 だから高いものだと、明らかに持ち上がらないような詐欺的アームの弱さにして、お客さんがたくさんやってくれて元をとってか… 続きを読む »

私にとって、目標を持つことが知性の本質です。目標を達成できるものこそが知的です。ジョン・マッカーシーの定義、「知性とは目標を達成する能力の計算的部分である」は素晴らしいと思います。目標がなければ、ただの振る舞いをするシス… 続きを読む »

人の言葉を真似ることは、実際には世界のモデルを構築することには全くなりません。あなたが真似しているのは、世界のモデルを持つもの、つまり人間です。敵対的なアプローチをしたくはありませんが、人間が世界モデルを持っているという… 続きを読む »

知能とは何か？問題は、自分の世界を理解することです。強化学習は自分の世界を理解することですが、大規模言語モデルは人間の真似をし、人間が言うべきことを実行することです。何をすべきかを考えることではありません。 RLの父リチ… 続きを読む »

QLoRA は、LoRA と量子化を組み合わせることで効率をさらに高めます。 量子化は、数値の精度を下げることでモデルを圧縮します。通常の重みは0.123456789のような値を表現できる32ビットの数値として保存されま… 続きを読む »

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「i… 続きを読む »

700億パラメータのモデルを微調整するには、数万ドルもするハイエンドGPUを複数台必要とします。メモリ要件だけでも500GBを超え、学習にはクラウドコンピューティングの料金で数千ドルかかることもあります。そのため、資金力… 続きを読む »

あらゆる書籍、記事、文書を読み漁りながらも、貴社特有のニーズや業界のニーズについては全く知らない優秀な従業員を雇ったと想像してみてください。彼らは一般知識は豊富ですが、追加のトレーニングを受けなければ、貴社の特定の課題を… 続きを読む »