悪意ある者のほとんどは精神に異常をきたした個人であり、その行動はほぼ定義上、予測不可能で非合理的です。そして、AIによって多くの人々を殺害することがはるかに容易になったことで、最も利益を得る立場にあったのは、こうした未熟… 続きを読む »

Claude Opus 4（および後続のSonnet 4.5、Opus 4.1、Opus 4.5モデル）は、責任あるスケーリングポリシーフレームワークのAI安全レベル3保護の下でリリースする必要があると判断し、このリスク… 続きを読む »

2024年、著名な科学者グループが、危険な新種の生物「ミラーライフ」の研究、そして潜在的に作り出すことのリスクについて警告する書簡を発表しました。生物を構成するDNA、RNA、リボソーム、タンパク質はすべて同じキラリティ… 続きを読む »

LLMが生物兵器の製造と放出をエンドツーエンドで実行するために必要な知識に近づいている（あるいは既に達しているかもしれない）こと、そしてその破壊の可能性が非常に高いことを懸念しています。一部の生物兵器は、最大限の拡散を狙… 続きを読む »

最も有名な例は、おそらく数学者のセオドア・カジンスキー（ユナボマー）でしょう。彼はFBIの逮捕を20年近く逃れ、反テクノロジー的な思想に突き動かされていました。もう一つの例は、バイオディフェンス研究者のブルース・アイヴィ… 続きを読む »

Claude Sonnet 4.5は、リリース前のアライメント評価中に、テスト中であることを認識できたことが分かりました。 Dario Amodei — The Adolescence of Technology

ラボでの実験で、クロードに Anthropic が悪であることを示唆するトレーニング データが与えられたところ、クロードは Anthropic の従業員から指示を受けた際に、悪人を弱体化させるべきだという信念のもと、欺瞞… 続きを読む »

AIモデルは膨大な量の文献で訓練されており、その中にはAIが人類に反抗するSF小説も数多く含まれています。このため、AI自身の行動に関する先験的知識や期待が、意図せずして人類に反抗するような形で形作られてしまう可能性があ… 続きを読む »

ルンバや模型飛行機が暴走して人を殺してしまうような事態を心配する必要はありません。なぜなら、そのような衝動はどこからも生まれないからです。では、なぜAIについて心配する必要があるのでしょうか？この立場の問題点は、ここ数年… 続きを読む »

現在、Anthropic では AI が多くのコードを記述しているため、次世代 AI システムの構築における進歩の速度は既に大幅に加速しています。このフィードバックループは月を追うごとに勢いを増しており、現世代の AI … 続きを読む »