引用ジャングル

犬や猫であることが何を意味するのかを学習するだけでなく、人間が撮りそうな写真や人間が一般的に書き留める単語など、重要ではない分布間の隙間頻度も学習するということです。

これが何を意味するかというと、同じデータセットで十分長い間トレーニングすると、十分な重みとトレーニング時間を持つほぼすべてのモデルが同じポイントに収束します。

これは驚くべき観察です。これは、モデルの動作がアーキテクチャ、ハイパーパラメータ、またはオプティマイザの選択によって決定されるのではないことを意味します。

モデルの動作はデータセットによって決定され、それ以外には何もありません。