引用ジャングル

大規模な言語モデルや他の種類のニューラル ネットを実行するには、大量の行列乗算を行う必要があります。そして、これらの GPU はたまたま行列乗算が非常に得意なので、基盤となる回路がそれほど小さくなっていなくても、それを利用できました。

私は実際に行列の乗算が何であるかを知っています。2 つの大きな数値配列があり、それらはほぼ一致するサイズでなければなりません。そして、それらを乗算して 3 番目の配列を作成するプロセスがあります。これは PageRank のようなもので、検索エンジンが何が重要であるかを判断するための元の方法です。

歴史の面白いところは、GPU (グラフィック プロセッシング ユニット) が最初に画面に画像をレンダリングするために使用されたことです。そのためには、大量の行列乗算を行う必要があります。その後、Andrew Ng のような人が、ちょっと待って、これをニューラル ネットにも使用できることに気付きました。コードを少し変更するだけで、桁違いの処理能力を活用できるようになりました。現在では、ニューラル ネット専用の GPU が作られていますが、当初は用途を変えて使用していました。