OpenAIは言うまでもなく、巨大モデルのパイオニアでした。LLM(学習モデル化)はGPT-2、そしてGPT-3から生まれました。しかし、これらのLLMは当初、テキストのみの学習レシピでした。その後、RLHF(人間からのフィードバックによる強化学習)を発見し、RLHFを通じて大量の人間のデータを取得できるようになりました。
しかし、マルチモーダル入力への移行では、テキストのみの世界で行った最適化の多くを放棄する必要があり、それによって他社が追いつく時間を与えてしまいます。実際、これがGeminiが追いつくことができた理由の一つだと思います。Googleはネイティブマルチモーダルに関する興味深いアイデアに賭け、それがGeminiで成功を収めたのです。
もし気に入ったら購読料お願いします