「GPUでいっぱいのデータセンターは、バナナでいっぱいの倉庫のようなもので、その有用性という点では半減期が比較的短いのです」 ポール・ケドロスキー氏との対談 – ポール・クルーグマン

GPUがトレーニングに非常に適している理由は、画面上のリアルタイム・グラフィックスの操作に非常に優れているように作られているからです。画面上の位置を計算するという点では、これは単なる巨大な行列の集合です。研究者たちはすぐ… 続きを読む »

例え話をします。両方のチップがトレーニングに50時間、推論に50時間使用されたと想像してください。今度は、同じ状況にある車を想像してください。24時間レースを2回、合計50時間運転した車と、1年間毎週日曜日に教会に車で行… 続きを読む »

大まかに2つに分けられます。1つはトレーニングです。つまり、データセンター内の1つで少なくとも1万から2万基のGPUを使って、新しいモデルや古いモデルの拡張をトレーニングするのです。もう1つは推論です。これは、Claud… 続きを読む »

こうした法的な手段を介したルックスルーのメカニズム、つまり人々がその法的な手段を覗き込み、「まあ、向こう側にはGoogleとMetaがあるから問題ない」と決めつけるような現象が、さらに陰険になります。 ポール・ケドロスキ… 続きを読む »

NVIDIAが自社のチップを使うという条件でプロバイダーに投資するケースが増えていくのは、全くその通りです。その結果、そのプロバイダーはトレーニングセンター向けの半導体の主な供給元となります。そしてそれがさらにフィードバ… 続きを読む »

60%はトレーニングだとしましょう。データセンター全体のワークロードのうち、私たちが占める割合は5～6%程度でしょう。真ん中の大きな部分はソフトウェアそのものであり、コーディングです。これはトークンを大量に浪費することに… 続きを読む »

国際経済学では「オランダ病」と呼ばれています。オランダが天然ガスを発見した後、製造業が壊滅した有名な時期がありました。 ポール・ケドロスキー氏との対談 – ポール・クルーグマン

東京での生活に飽き飽きしていたし、うんと離れたところに行っちゃおうと。関西であることがよかったんだと思う。関西の人だから『松本センセイじゃありません？』と、男も女もフランクに話しかけてくれる。東京で一人ぼっちだとこんなふ… 続きを読む »

御影は、六甲山麓の緑豊かな街で、「灘五郷」とよばれる日本有数の酒どころのひとつであり、高級住宅街としても知られるエリアだ。 「この界隈にはおいしいお店がそろってるんだ。フレンチの名店『御影ジェンヌ』、ぼくの大好きなビスキ… 続きを読む »