Nvidia GPUで大規模言語モデルを学習するには、特定のメモリ階層、通信パターン、数値精度の癖などを考慮してハイパーパラメータを調整する必要があります。エンジニアリングの最終段階では、基本的にNvidiaのアーキテクチャ上の選択を考慮して最適化を行うことになります。同じモデルをAMDやカスタムASICに移行した場合、ハイパーパラメータは移行できません。モデルアーキテクチャ自体がもはや最適ではなくなる可能性もあります。ベンダーを変更するのではなく、最初からやり直すのです。