引用ジャングルは同名のTumblrページからインポートしています

最新の知見を知るサイト

  • 「あなたの平凡なことは、視聴者にとっては非凡なことです」

  • AlphaGo では、モデルが具体的な勝利条件 (「この囲碁のゲームに勝ったか?」) に基づいて自分自身を判断できるため、自己プレイが機能しました。しかし、新しい推論には具体的な勝利条件がありません。その結果、予想どおり、LLM は今のところ自身の推論を修正することができません。

  • 太陽光発電は数年後にはメガワット時当たり10ドルに達し、さらに数年後には1ドルにも達する可能性がある。そうなれば石炭より10~100倍安くなり、エネルギー関連の問題のほとんどが解決する。米国は国土の2%を太陽光パネルで覆うだけで全電力を賄える。

  • シンガポールでも屋根ごとにパネルを設置すれば電力需要の100%を賄えると計算した。

  • 2010年から2019年の間に、原子力と太陽光発電のコスト比較は、それぞれ96ドル/ 378ドルから155ドル対68ドルに下がりました(はい、原子力の方が高価になりました)。その結果、太陽光発電のシェアは過去10年間で10倍になり、減速の兆候は見られません…なぜ太陽光発電はこんなにも急速に進歩しているのでしょうか?人類は工場で大量生産するのが得意です。問題を「この小さな物体の同一のコピーを工場で何十億個も製造しよう」と変換すると、これを行うための人間の生来の才能が働き、工場はコストで互いに競争し、ムーアの法則のような成長曲線が得られます。1990年代後半から2000年代前半にかけて、工場は太陽光パネルの大量生産を開始し、競争が始まりました。

  • 習近平が 2019 年に未成年者のビデオゲーム使用を制限したことの影響を調査している。彼らは、この制限によって学業成績と労働市場の結果の両方が改善されたことを発見した。その理由は、子供たちは勉強や講義に行くよりもスマートフォン ゲームをする傾向があるからだ。

  • 1つの問題は、法学修士課程の訓練に利用できるデータが基本的に枯渇していることです。研究者は、少なくとも2022年以降、世界中の高品質な人間の文章の量では、スケーリングがあと数年しか続かないことを知っており、著作権により利用可能な量はさらに減少します。

    しかし、現在の AI モデルには、スケーリングでは解決できない問題がいくつかある可能性もあります。主な問題は「幻覚」、つまり嘘です。LLM を使用する人なら誰でも、嘘を吐く癖があることはよく知っています。多くの AI エンジニアは、スケーリングによって幻覚がなくなると信じていましたが、そうはなっていないようです。

  • 予測の鍵となるのは、スケーリング仮説です。つまり、A) より大きなモデルを B) より多くのデータで C) より大量のコンピューティングでトレーニングし続けると、生成 AI は重要なすべての指標でどんどん向上するという考え方です。

    AI の人々が「AGI にスケールする」というフレーズを使うのをときどき耳にしますが、これはつまり、十分なモデル パラメータ、データ、コンピューティング能力さえあれば、生成 AI は基本的にあらゆるタスクで人間の労働者に取って代わることができる神のような超知能になるだろうと彼らが考えていることを意味します。AI エンジニアは、AGI へのスケールは今後数年で実現すると考える傾向があります。

  • スティーブ・ジョブズがこう言ったのはそのためです。

    「世界で最も力のある人は、物語を語る人です。物語を語る人は、世代全体のビジョン、価値観、課題を設定します」

  • 複数のAI企業がRobots Exclusion Protocol(robots.txt)を回避して、ウェブサイトから許可なくコンテンツを取得している という。