人間のユーザーには、アルゴリズムが生成した応答に思考や意図があると推測する傾向が観察されてきました。たとえアルゴリズムが比較的単純な記号論理に基づいて動作し、文脈や内容を理解できない場合でもです。この効果は今日でも「エリザ効果」と呼ばれています。これは、1960年代後半にMITのジョセフ・ワイゼンバウムが開発した、事前にプログラムされたスクリプトに基づいて自然言語による会話をシミュレートするコンピュータプログラムにちなんで名付けられました。
もし気に入ったら購読料お願いします
引用ジャングル
もし気に入ったら購読料お願いします
人間のユーザーには、アルゴリズムが生成した応答に思考や意図があると推測する傾向が観察されてきました。たとえアルゴリズムが比較的単純な記号論理に基づいて動作し、文脈や内容を理解できない場合でもです。この効果は今日でも「エリザ効果」と呼ばれています。これは、1960年代後半にMITのジョセフ・ワイゼンバウムが開発した、事前にプログラムされたスクリプトに基づいて自然言語による会話をシミュレートするコンピュータプログラムにちなんで名付けられました。
もし気に入ったら購読料お願いします
もし気に入ったら購読料お願いします
モデルはトークンという 1 つの要素に基づいて課金されます。
しかし、トークンとは何でしょうか?
定義上、これはあらゆるデータモダリティ(テキスト内の単語またはサブワード、画像内のピクセルまたはピクセルパッチなど)における意味情報の基本単位です。コンピューターはテキストを直接処理できないため、ユーザーデータをAIが処理できる数値に変換するため、AIにとって不可欠な要素です。詳しく説明しましょう。
「ネパールの首都は何ですか? 」という文章をAI モデルに送信すると、モデルは実際には GPT-4o の場合、上の画像の右下に示すように数字の文字列を認識します。
これらの数字は、「埋め込みテーブル」と呼ばれるテーブル内の行のインデックスです。各行はモデルが認識している単語またはサブワード (トークンとも呼ばれます) であり、そのテーブルの列は数字で表されたそのトークンの属性です。
言い換えれば、文中の各単語は「埋め込み」と呼ばれる数値の集合に変換されます。これらの数値は任意のものではなく、概念が持つ属性として理解できます。
もし気に入ったら購読料お願いします
もし気に入ったら購読料お願いします
野球の大谷翔平選手は10年で1,000億円の契約をしました。途中でけがをしても1年で100億円の収入が保証されています。それに比べて藤井さんは八冠でも1年に2億円、しかも勝ち続けなければ維持することができません。二人とも現代の日本が誇る天才中の天才ですが、収入が50倍も違う。
もし気に入ったら購読料お願いします
「AIはパスワード以外の、今使われているほとんどの認証方法を完全に破っている」
もし気に入ったら購読料お願いします
私たちが最終的に目指すのは、頭の中にあるものをどうやって画面に表示するかというUIの問題でもあります。
チャットボックスに入力するだけでソフトウェアを完全に構築できるというビジョンは、非常に魅力的だと思います。本当にシンプルなUIだと思います。これでかなり遠くまで行けるかもしれませんが、それが最終形になることはないと思います。プロフェッショナルなソフトウェアを構築するには、より高度な制御が必要です。そのため、画面上の様々な要素を操作し、ごく小さな詳細まで掘り下げて数ピクセルを変更できる必要があります。
また、ロジックの一部を特定し、ソフトウェアがどのように動作するかを正確に理解し、非常に細かい部分を編集できる必要があります。そのためには、これらの機能のための新しいUIを再考する必要があり、現在、そのためのUIはプログラミング言語です。ですから、これらは進化していくと思います。
もし気に入ったら購読料お願いします
少しリスクはあるものの、AIにどんどん多くの作業を委任していくような世界に到達した場合、コードを見るかどうかという問題に直面することになるということです。コードを一行一行読んでいるでしょうか、それともコード全体を無視しているでしょうか。専門的な現場では、目を閉じてコードを完全に無視することも、一行一行読むことも、どちらも実際にはうまくいかないと思います。
もし気に入ったら購読料お願いします
AIは世界を変革する技術革新となるでしょう。もしかしたら、非常に大きな技術革新というレベルよりも、もっと大きなものになるかもしれません。
もし気に入ったら購読料お願いします
最も重要で、絶対に失敗できないのは、この分野で最高の製品を生み出すことだと信じています。
もし気に入ったら購読料お願いします
100%の精度に到達するのを阻んでいるものがいくつかあると思います。一つは、モデルに新しいことを学習させることです。例えば、コードベース全体を理解したり、組織のコンテキストを理解したりしながら、間違いから学ぶといったことです。そして、この分野には未だに、それに対する素晴らしい解決策がないと思っています。
解決策としては2つあります。1つは「コンテキストウィンドウ」を長くすることです。これは、これらの大規模言語モデルが認識できるテキストや画像のウィンドウが固定されていることを意味しますが、それには限界があります。それ以外は、組み立てラインから出てきたモデルと、モデルの頭の中に入力される新しい種類の情報だけです。これは人間の脳とは大きく異なります。なぜなら、人間は世界を歩き回り、脳は常に変化しているからです。人間は新しい情報を得て、それが何らかの形で記憶に残ります。もちろん、一部の記憶は薄れていきますが、ある程度は記憶に残ります。したがって、継続学習の問題に対する解決策の1つ目は、コンテキストウィンドウを非常に大きくすることです。
2つ目の解決策は、モデルをトレーニングすることです。つまり、モデルに新しいものや新しい機能を学習させたいと思ったら、その都度、それに関するトレーニングデータを収集し、それをモデルに投入するのです。どちらも大きな問題があると思いますが、それが一つの障害になっています。機械学習において、過去5年間の進歩は非常に速いにもかかわらず、業界全体では、新しいパラダイムシフトとなるような真に重要なアイデアが生まれる割合は非常に低いと私は考えています。
もし気に入ったら購読料お願いします
エンドユーザープログラミングや使い捨てアプリ、パーソナライズされたソフトウェアに非常に強い関心を持つ人々がいるということです。彼らは皆、自分だけのツールを開発しています。そして、私はそれが本当に素晴らしいと思っています。
もし気に入ったら購読料お願いします