Nvidia の H100 チップ: AI トレーニングに使用される最も人気のあるグラフィック プロセッシング ユニット (GPU) の 1 つです。H100 は他のサーバー グレードの AI チップよりも AI ワークロードの処理に最適であると考えられているため、企業はH100を求めています。しかし、Nvidia のチップに対する並外れた需要により、同社は世界で最も価値のある企業の1 つになりましたが、他の多くのテクノロジー企業が独自のAI チップを開発しており、Nvidia の市場支配力を蝕む可能性があります。

幻覚:これは、生成 AI ツールの精度はトレーニングに使用したデータによって決まるため、「幻覚」を起こす、つまり質問に対して最善と思われる回答を自信たっぷりに作り上げる可能性があるということです。これらの幻覚 (または、正直に言うと、でたらめ)は、システムが事実誤認を起こしたり、意味不明な回答を返したりする可能性があることを意味します。AI の幻覚が「修正」できるかどうかについては、議論さえあります。

バイアス:幻覚は、AI を扱う際に生じる唯一の問題ではありません。AI は結局のところ人間によってプログラムされているので、この問題は予測できたかもしれません。その結果、トレーニング データによっては、AI ツールがバイアスを示すことがあります。たとえば、顔認識ソフトウェアが肌の色の濃い女性の性別を識別しようとするとエラー率が高くなることを明らかにしました。

大規模言語モデル (LLM):自然言語テキストを処理および生成できる AI モデルの一種。Anthropic の Claude は、同社によれば「会話調の親切で誠実、そして無害なアシスタント」であり、LLM の一例です。

拡散モデル:テキストプロンプトから画像を生成するなどの用途に使用できる AI モデル。最初に画像にノイズ (静電気など) を追加し、次にそのプロセスを逆にすることでトレーニングされ、AI が鮮明な画像を作成する方法を学習します。オーディオやビデオで機能する拡散モデルもあります。

基礎モデル:これらの生成 AI モデルは膨大な量のデータでトレーニングされているため、タスク専用のトレーニングなしで、さまざまなアプリケーションの基盤となることができます。(この用語は、2021 年にスタンフォード大学の研究者によって造られました。) OpenAI の GPT、Google の Gemini、Meta の Llama、Anthropic の Claude はすべて基礎モデルの例です。多くの企業は、AI モデルをマルチモーダルとして販売しており、テキスト、画像、ビデオなど、複数の種類のデータを処理できることを意味します。

自然言語処理（NLP）：機械学習により機械が人間の言語を理解する能力。OpenAI の ChatGPT は基本的な例で、テキストクエリを理解し、それに応じてテキストを生成できます。NLP を実行できるもう 1 つの強力なツールは、OpenAI のWhisper 音声認識技術です。同社はこの技術を使用して、100 万時間を超える YouTube 動画の音声を書き起こし、GPT-4 のトレーニングに役立てたと報告されています。

トークン:トークンとは、単語、単語の一部、または個々の文字などのテキストの塊を指します。たとえば、LLM はテキストをトークンに分割して分析し、トークン同士の関係を判断し、応答を生成します。モデルが一度に処理できるトークンの数が多いほど (「コンテキスト ウィンドウ」と呼ばれる量)、結果がより洗練されます。

ニューラル ネットワーク:ニューラル ネットワークは、ノードを使用してコンピューターがデータを処理するのを支援するコンピューター アーキテクチャです。ノードは、人間の脳のニューロンに似ています。ニューラル ネットワークは、明示的なプログラミングなしで複雑なパターンを理解することを学習できるため、人気の生成 AI システムにとって重要です。たとえば、診断を行うために医療データをトレーニングするなどです。

RAG:この頭字語は「検索拡張生成」の略です。AI モデルが何かを生成するときに、RAG により、モデルはトレーニングされた内容以外のコンテキストを見つけて追加できるため、最終的に生成されるものの精度が向上します。

AI チャットボットに、トレーニングに基づいて実際には答えを知らない質問をしたとします。RAG がなければ、チャットボットは間違った答えを思いつくだけかもしれません。しかし、RAG があれば、インターネット上の他のサイトなどの外部ソースをチェックし、そのデータを使用して答えを導き出すことができます。

トランスフォーマー:トランスフォーマーは、シーケンスの各部分が互いにどのように関連しているかを処理する「アテンション」メカニズムを使用するニューラル ネットワーク アーキテクチャの一種です。Amazon には、これが実際に何を意味するかを示す良い例があります。

次の入力シーケンスについて考えてみましょう。「空の色は何色ですか？」 トランスフォーマー モデルは、色、空、青という単語間の関連性と関係を識別する内部数学的表現を使用します。その知識を使用して、「空は青いです。」という出力を生成します。

トランスフォーマーは非常に強力であるだけでなく、他の種類のニューラル ネットワークよりも速くトレーニングできます。