SpaceXは22万機ものA100を保有している。参考までに言うと、GPT-4は約2万5000機のA100で学習された。

SpaceXは、A100よりもはるかに高性能なハードウェア上で、GPU数を約9倍に増やしたクラスターを構築した。

800G NICとは、800ギガビットのネットワークカード（おそらくInfiniBand NDR）のことで、異なる物理ノードに分散したGPU同士が、ボトルネックになることなく通信できるようにするパイプの役割を果たします。