引用ジャングルは同名のTumblrページからインポートしています

最新の知見を知るサイト

  • Stockfishのような最新かつ最高のシステムでさえ、明示的な盤面モデルを備えています。チェス盤とその履歴に関するシステム内部モデルは、特定の世界の明示的、動的、更新可能なモデルという意味で、ワールドモデルです。

    盤面の適切かつ明示的なモデルを持たないLLMでは何が起こるのでしょうか?LLMには、チェスのゲームのデータベースやチェスに関する書籍などから収集された、チェスに関する大量の情報が保存されています。

    これにより、彼らはチェスのゲームのオープニングムーブメントでかなり上手くプレイできるようになります。

    しかし、ゲームが進むにつれて、データベースにあるゲームを単に真似するだけではだんだん頼れなくなっていきます。中盤になると、その可能性は数十億に上ります。

    それで何が起こるでしょうか?中盤になると、LLMはしばしば迷子になります。ゲームが進むにつれてプレイの質が低下するだけでなく、LLMは違法な動きをし始めます。

    なぜでしょうか? どの動きが可能か (または不可能か) がわからないのは、盤面の状態の適切な動的世界モデルを誘導しないからです。

    LLM はチェスをプレイすると主張するかもしれませんが、おそらく何百万ものゲームを網羅するトレーニング、すべてのシステムのトレーニング セットに確実に含まれている wiki ページ「チェスのルール」 、chess.com のチェスの遊び方などの無数のサイト (おそらく最近の大規模モデルのデータベースにも含まれている) にもかかわらず、 ゲームを完全に抽象化することはできません。

    ChatGPTに「クイーンはナイトをジャンプできますか?」と尋ねたところ、ChatGPTは「いいえ」と的確に答え、完璧かつ詳細な説明をしてくれました。

    しかし、実際のゲームでは、ChatGPT はまさにそれを実行し、オウム返しできることと実際に行うことを統合できないことがあります。

    つまり、ChatGPT はチェスのゲームを近似することはできますが、 (膨大な関連証拠にもかかわらず) ボードとルールの適切な世界モデルを誘導しないため、確実にプレイすることはできません。

    これが LLM ベースの AI へのアプローチにおける最も深刻な問題の縮図なのです。

  • 結局のところ、ニューラルネットワークのようなシステムは明らかに世界について話すことができ、世界に関する何らかの知識を持っています。実際、ニューラルネットワークは膨大な知識を有しており、ある意味ではほとんどの人間、あるいはすべての人間よりもはるかに多くの知識を持っています。例えば、法学修士(LLM)は「トーゴの人口は?」といった質問に答えられるかもしれませんが、私はきっと調べなければならないでしょう。

    しかし、LLMはデータベースのような構造化された記号体系を維持していません。都市や人口に関する直接的なデータベースも持っていません。ウェブ検索などの外部ツールで取得できる情報(部分的ではあるものの、あくまでも部分的な回避策に過ぎません)を除けば、LLMは単に確率的に再構成した一連のテキストを持っているだけです。だからこそ、彼らは頻繁に幻覚を見るのです。もし関連データベースに確実にアクセスできれば、幻覚を見る必要はないでしょう。

  • 主に社会学的な理由から、LLMなどのニューラルネットワークを構築してきた人々は、ビッグデータの膨大な統計分析から知性が「出現」することを期待し、明示的なモデルを使わずに研究を進めてきた。これは意図的なものだ。大まかな第一近似として、LLMが行うことは、言語の断片(場合によっては画像)間の相関関係を抽出することだ。しかし、誰が誰にいつ何をしたかといった明示的なモデルを作成するという、骨の折れる困難な作業(かつては知識工学と呼ばれていた)は不要だ。

    奇妙に聞こえるかもしれませんが、LLM内部のデータベースなどの明示的なデータ構造を明示することはできません。「機械がトンプソン氏について知っていることはすべてここに保存されています」とか、「トンプソン氏についてさらに詳しく知ったときに、これがトンプソン氏に関する知識を更新するために使用する手順です」などと言うことはできません。LLMは巨大で不透明なブラックボックスであり、明示的なモデルは全く存在しません。LLMがブラックボックスであると言うことの意味の一つは、内部にある特定の事実集合などのモデルを明示できないということです。(多くの人はLLMが「ブラックボックス」であることを認識していますが、この重要な意味を十分に理解していません。)

  • 認知心理学の言葉で言えば、文章を読むときに私たちが行うことは、その文章が伝えようとしている意味についての認知モデルを構築することです。これは、ダニエル・カーネマンと故アン・トレイスマンが「オブジェクトファイル」と呼んだもの(個々のオブジェクトとその特性の記録)をまとめるという単純なものから、複雑なシナリオを完全に理解するという複雑なものまで様々です。

  • 放浪するアリは、デッドレコニングというプロセスを通じて自分の位置を追跡します。アリは(代数的/コンピュータサイエンス的な意味での)変数を用いて、放浪中でも常に更新される自分の位置の読み取り情報を維持し、巣に直接戻ることができるのです。

  • 皮肉なことに、5月1日、メーデー(世界労働者連帯デー)に、この歴史的な場所でニューヨークAIデモが開催され、Notion、Oscar Health、Sunoといったスタートアップ企業が、労働力を代替する次世代テクノロジーを披露しました。

    その象徴性は強烈だった。かつて人間の労働力で動いていた建物が、今では思考を学ぶ機械を収容している。かつて賃金と労働者の権利をめぐる戦いの場だった場所が、今ではコードと認知自動化のショールームになっている。そのイメージは私の心に焼き付いた。

  • ハンス・エーバーハルト・ヴィルヘルム・ウィルスドルフは1881年3月22日にバイエルンで生まれました。

    わずか12歳の時に父親が亡くなり、彼は孤児になります。

    彼と兄弟は、家業の工具ビジネスを売却し、子供たちを一流の寄宿学校に送ってくれた叔父たちによって幸いにも救われた。

    彼の最初の仕事はクノ・コルテンで、そこで彼は毎日何百もの時計を巻き上げなければならなかった。

    1903年、22歳の時にロンドンに移り、ビジネスパートナーのデイビスと出会ってから2年後にウィルスドルフ&デイビス社を設立した。

    1908年に彼はロレックスという名前を商標登録した。

    「アルファベットの文字をあらゆる方法で組み合わせてみました。数百もの名前が浮かびましたが、どれもしっくりきませんでした。ある朝、ロンドン・シティのチープサイドを馬車の2階席で走っていると、精霊が耳元で『ロレックス』とささやきました。」— ハ​​ンス・ウィルスドルフ

    やがて、ロレックスはクロノメーター精度を備えたスイス認定初の腕時計となりました。

    その後、1926年にロレックス・オイスターが発売されました。水や埃の侵入を防ぐ密閉ケースを備え、「世界初の防水時計」と称されました。時計はショーウィンドウの水槽に展示され、客を誘い込むことになりました(なんとも見事な光景です!) 。

    その後のことは、言うまでもなく歴史です。

    2023 年だけで 100 億ドル以上の収益を誇るロレックスは、現在、世界で最も名声が高く、尊敬されるブランドの 1 つです。

    (ロレックス — 時代を超えた発明 – アンビション・クロニクルズから)

  • 価格について謝罪するのはやめてください。

    課金するのが恥ずかしいかのように、サブスクリプションの価格を設定するクリエイターが多すぎます。

    • 月額3ドル。「誰も排除したくない」

    • 月額 5 ドル。「他社も同じ料金を請求している」からです。

    • 月額 9 ドル。「妥当な価格」だから

    これは金欠の人の考え方です。

  • 「でも、私のチャンネル登録者はたったの 47 人なんですよ!」

    だから何?

    クリエイターが犯す最大の間違いは、料金を請求できるほど「大きくなる」まで待つことです。

    実際には次のようになります:

    • 視聴者にすべてを無料で期待させるように仕向ける

    • 価値を求める人ではなく、無料サービスを求める人を引き付ける

    • 最初から間違ったビジネスモデルを構築している

    • 「貧乏クリエイター」心理を育む

    不快な真実:あなたが自分のコンテンツに月額 5 ドルを支払わないのであれば、他の人はなぜ支払う必要があるのでしょうか?

    月額3ドルでも、今すぐ課金を始めましょう。お金が必要だから(まだ)ではなく、以下の理由があるからです。

    • 適切な人材を引き付ける

    • 顧客としてお金を払うという考え方を養う

    • 閲覧者と購入者を区別する

    • 人々が実際に何を大切にしているかを知る

    100 人の登録者を持つクリエイターが、10 万人の「無料」フォロワーを持つクリエイターよりも多くの収入を得ているのを私は知っています。

  • クリエイターのほとんどはデジタル小作農です。

    彼らは、自分たちが所有していないプラットフォーム上で視聴者を構築し、制御できないアルゴリズムを追いかけ、広告主にわずかな利益を懇願する。

    真実は?広告収入はあなたを貧しくし続けるために設計されているのです。

    一方、有料サブスクリプションにより、予測可能な月間収益、視聴者との直接的な関係、プラットフォームへの依存からの解放、プレミアム価格設定の力が得られます。

    物議を醸す現実: あなたの「無料」視聴者は、あなたが富を築くのを助けているのではなく、あなたのコンテンツからプラットフォームが富を築くのを助けているのです。