「引用ジャングル」カテゴリーアーカイブ

例えば、北極圏に住んでいると、アザラシを狩る方法を論理的に考えることは不可能です。餌の作り方、アザラシの見つけ方、そして毒に侵されないよう餌を加工する方法など、非常に多くの段階を踏む長いプロセスがあります。その全てを論理… 続きを読む »

私たちは知能を再現しようとしています。人間が月に行ったり半導体を製造したりできる理由を理解したいのであれば、私たちが理解したいのは、それがなぜ可能になるのかということです。動物は月に行ったり半導体を製造したりできません。… 続きを読む »

教師あり学習は自然界では起こりません。たとえ学校で起こったとしても、それは人間に起こる特別な現象なので、忘れるべきです。自然界では広く起こりません。リスは学校に通いません。リスは世界のあらゆることを学ぶことができます。動… 続きを読む »

ゲーセンは毎日ＵＦＯキャッチャーに入れられた金額を見て損をしないようにアームの強さやツメを調節します。 だから高いものだと、明らかに持ち上がらないような詐欺的アームの弱さにして、お客さんがたくさんやってくれて元をとってか… 続きを読む »

私にとって、目標を持つことが知性の本質です。目標を達成できるものこそが知的です。ジョン・マッカーシーの定義、「知性とは目標を達成する能力の計算的部分である」は素晴らしいと思います。目標がなければ、ただの振る舞いをするシス… 続きを読む »

人の言葉を真似ることは、実際には世界のモデルを構築することには全くなりません。あなたが真似しているのは、世界のモデルを持つもの、つまり人間です。敵対的なアプローチをしたくはありませんが、人間が世界モデルを持っているという… 続きを読む »

知能とは何か？問題は、自分の世界を理解することです。強化学習は自分の世界を理解することですが、大規模言語モデルは人間の真似をし、人間が言うべきことを実行することです。何をすべきかを考えることではありません。 RLの父リチ… 続きを読む »

QLoRA は、LoRA と量子化を組み合わせることで効率をさらに高めます。 量子化は、数値の精度を下げることでモデルを圧縮します。通常の重みは0.123456789のような値を表現できる32ビットの数値として保存されま… 続きを読む »

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「i… 続きを読む »