多くの人がご存知のように、学術界では「再現性危機」が発生しており、重要な研究結果が他の研究者には再現不可能であることが判明しました。学術界はこの問題に対してある程度の進歩を遂げており、多くの研究者が他の研究者が自分の研究結果を再現できるようにデータを提供しています。問題は、論文を深く読み、理解し、データを分析し、エラーを丹念にチェックする必要があるため、再現には多くの時間がかかることです。それは人間にしかできない非常に複雑なプロセスです。
今までは。
私は新しいClaude Sonnet 4.5に、多数の実験を含む高度な経済学論文の本文と、そのすべての複製データのアーカイブを渡した。
クロードは追加の指示なしに論文を読み、アーカイブを開いてファイルを整理し、統計コードをある言語(STATA)から別の言語(Python)に変換し、すべての調査結果を系統的に検討した上で、再現に成功したと報告しました。私は結果を抜き取り検査し、別のAIモデルであるGPT-5 Proを使って再現結果を再現させました。すべてうまくいきました。これを手作業で行うと何時間もかかっていたでしょう。
しかし、革命的なのは時間を大幅に節約できたということではありません。学術分野全体を揺るがした危機が、再現によって部分的に解決できたということです。今や、AIは多くの発表済み論文をチェックし、結果を再現することで、科学研究全体に影響を及ぼすことができるようです。正確性と公平性のベンチマークなど、これを実現するには依然として障壁がありますが、今や現実の可能性となっています。
もし気に入ったら購読料お願いします