Twitterのタイムラインを見ていると、私には理解できないものばかりが目につくからです。こうしたことが存在する理由は様々です。正直なところ、その多くは資金調達のためでしょう。インセンティブ構造の問題です。資金調達が目的… 続きを読む »
「引用ジャングル」カテゴリーアーカイブ
例えばある本の章について、LLMに考えてもらうとします。すると、一見すると納得のいく答えが返ってくるはずです。しかし、10回同じ質問をしてみると、どれも同じ答えに終わることに気づくでしょう。 アンドレイ・カルパシー — … 続きを読む »
ChatGPTに行って「ジョークを言って」と尋ねることです。ジョークは3つくらいしかありません。ジョークの可能性のある範囲全体を提供していません。ジョークを3つくらいしか知らない。 これらのモデルからは、人間から得られる… 続きを読む »
そして強化学習が登場しました。強化学習は、報酬関数を使えるようになり、報酬関数を使ってヒルクライム（山登り）学習できるため、単なる模倣学習よりも少し優れた学習が可能になります。問題によっては正解しか存在しない場合もあり、… 続きを読む »
アマゾンは現在、米国において連邦政府、ウォルマートに次ぐ米国第3位の雇用主で、従業員は約150万人。その多くが倉庫や配送業務に従事している。 米国で従業員が60万人を超える企業はごくわずかだ。仮にニューヨーク・タイムズ… 続きを読む »
ソフトウェアに求められる安全性の保証は自動運転とそれほど変わらないとおっしゃるのは、とても興味深いですね。自動運転の開発に時間がかかったのは、故障時のコストが高すぎるからだ、とよく言われます。人間は平均して40万マイル、… 続きを読む »
デモだったものを見るのは、私にとって間違いなく成長の糧になります。私はデモにはあまり感銘を受けません。どんなデモを見ても、全く感銘を受けません。ただ見せるためだけに作られたデモなら、なおさらです。実際に操作できるなら、少… 続きを読む »
ソフトウェアエンジニアリングにおいては、その特性は確かに存在すると思います。多くのバイブコーディングではそうではありません。しかし、実際に製品レベルのコードを書くのであれば、その特性は存在するべきです。なぜなら、どんなミ… 続きを読む »
これはまだ完成に程遠いということです。 自動運転の歴史は古く、最初のデモは1980年代にまで遡ります。1986年にCMUで行われたデモをご覧になれば、道路を自動運転するトラックがあるのが分かります。 テスラに入社した頃、… 続きを読む »
うまくいくはずがないのに、なぜか、驚くべきことに、うまく機能するものがある、ということです。多くの小規模なモデル、あるいはより低レベルのモデルは、幼稚園児、小学生、高校生に驚くほど似ています。どういうわけか、私たちはまだ… 続きを読む »