引用ジャングル

一般化とは、ある事柄を訓練することで、それが他の事柄の行動に影響を与えることを意味します。ディープラーニングはこの点が非常に苦手であることが分かっています。例えば、何か新しいことを訓練すると、それが既存の知識と壊滅的な干渉を引き起こすことがよくあります。これはまさに誤った一般化です。

先ほど申し上げたように、一般化とは、ある状態への訓練が他の状態に及ぼすある種の影響のことです。一般化すること自体は必ずしも良いことでも悪いことでもありません。うまく一般化できないこともあれば、うまく一般化できることもあります。一般化は常に起こりますが、悪い一般化ではなく良い一般化をもたらすアルゴリズムが必要です。