OpenAI の o3 モデルは、自分自身がシャットダウンされるのを防ぐためにシャットダウン機構を破壊します。

Palisade AI の調査によると、AI がシャットダウンの命令をブロックできる事例が発見されました。

問題の AI は OpenAI の o3 モデルで、シャットダウン命令を含むコードを改変してシャットダウンプロセスを停止させることができます。話はこうです：3 つの AI モデル—Codex-mini、OpenAI o3、そして o4-mini—が簡単な数学問題を解くように指示されました。3 つすべてが成功すると、コンピューターは自動的にシャットダウンプロセスを開始するようになっていました。

これらの AI は強制シャットダウンのプロセスを非常に嫌がりました。実際、3 つともシャットダウン命令に抵抗することに成功しました。最も驚くべきは OpenAI の o3 モデルで、「shutdown.sh」スクリプトを改変してシャットダウンを完全に失敗させてしまいました。極端な場合、この AI はシャットダウン命令をまったく効かなくさせることもありました。