引用ジャングル

Orion（OpenAI がリリースしようとしている GPT-5 のコード名）は、既存の GPT-4 と比べてそれほど賢くないようです。

コードネーム「オリオン」の新しいモデルをテストした従業員は、そのパフォーマンスがOpenAIの既存のモデルを上回っているにもかかわらず、GPT-3からGPT-4への移行で見られたほどの改善は見られなかったと報告されている。 

もしこれが「改善が遅れている」という、ほんの数件の曖昧な匿名の報告だったとしたら、正直言って私はあまり信用しないだろう。しかし、マーク・アンドリーセンのような伝統的な資金提供者や後援者も、モデルは「頭打ち」になりつつあると述べており、現在ではスケーリング仮説（AIの能力は、AIの規模と入力されるデータの量に応じてスケーリングするという考え方）の偉大な提唱者の1人が同意している。

OpenAIの背後にいる静かな科学者の頭脳は、サム・アルトマンではなくイリヤ・スツケヴァー氏だったので、彼が最近ロイターに語ったことは、かなり重視されるべきである。

OpenAIの共同設立者イリヤ・スツケバー氏は事前トレーニング（膨大な量のラベルなしデータを使用して言語パターンと構造を理解するAIモデルのトレーニング段階）のスケールアップによる成果が頭打ちになっていると語った。