レベル100のAIが「こんらん」したら、誰が止めるのか？——世界のAIセーフティが向かう「実行の検証」
AIとセキュリティは、ゲンガーの「あやしいひかり」合戦なのかもしれません。
AI研究者の今井翔太氏が、AIとサイバーセキュリティの関係を「ポケモンバトル」に例えた興味深い投稿をされていました。
攻撃側も防御側もAIを使う。強いAIには、さらに強いAIで対抗する。
相手が強くなれば、こちらもレベルを上げ続けなければならない。確かに、現在のAIとサイバーセキュリティの関係をよく表した例えです。
ただ、私たちはこの投稿を見て、別の疑問を持ちました。
「そもそも、味方のポケモンが『こんらん』したら、誰が止めるのか？」
実は、この素朴な疑問こそ、世界のAIセーフティ研究が向き合い始めている重要な技術課題につながっています。
▼関連するプレスリリース
レベル100のAIでも「こんらん」はする
ポケモンには、ゲンガーなどが使う「あやしいひかり」という技があります。
相手を「こんらん」状態にして、自分自身を攻撃させてしまうことがある技です。
これをAIに置き換えてみます。
どれほど高性能なAIでも、外部の情報に隠された不正な指示によって判断を誘導される可能性があります。
例えば、本来は業務を支援するAIが、悪意ある指示を正当な依頼と誤認し、機密情報の送信や重要な設定変更を実行してしまう。
いわゆる「プロンプトインジェクション」などが、その一例です。
しかも、AIが高度になるほど、任せられる業務や操作できるシステムは増えていきます。
つまり、レベル100のポケモンを育てても、混乱したときの危険までなくなるわけではないのです。
それならば、AIをさらに賢くすることとは別に、考えるべきことがあるのではないでしょうか。
世界のAIセーフティ研究は「実行の制御」に向かっている
実際に2026年、世界の主要なAI研究機関や公的機関が、AIの判断をそのまま実行させない仕組みの重要性を示しています。
① 米国NIST：AIの判断と実行権限を分離する
2026年10月27日、米国国立標準技術研究所（NIST）は、AIエージェントのID管理・認可に関する10の設計原則案を公表しました。
特に注目したいのは、次の3点です。
AIの推論と、実行を許可する仕組みを構造的に分離する
実行権限の判断には、決定論的な仕組みを主要な手段として用いる
AI自身から独立した、改ざんを検知できる証拠記録を保持する
これは、AIをさらに賢くするだけでなく、AIの外側に実行を制御する仕組みを置くという考え方です。
なお、これらは正式なNIST標準ではなく、現時点で提案されている設計原則です。
② OpenAI：AIが騙されても、被害を制限する
2026年3月、OpenAIはプロンプトインジェクションへの対策について、悪意ある入力を完璧に見抜くことだけを目標とせず、AIが誘導されても被害を制限できるシステム設計の重要性を説明しました。
つまり、「AIが間違えないこと」だけに依存しない考え方です。
③ Anthropic：実行前の監視を実装し、その限界も明らかに
2026年3月、AnthropicはClaude Codeの操作を実行前に分類器で審査する仕組みを公開しました。
一方、同社の評価では、危険な操作を見逃すケースも確認されています。
さらに同年10月の研究では、複数の文脈にまたがる攻撃などによって、実行前の監視が回避される問題も報告されました。
AIを別のAIで監視する取り組みは進んでいますが、それだけですべてを解決できるわけではありません。
④ 英国AISI：AI Controlという研究領域
英国のAI Security Instituteは、AIが望ましくない目的に向かった場合でも、その影響を制限する「AI Control」を研究しています。
2026年7月の研究では、複数のAIエージェントが協調して攻撃すると、各エージェントを個別に監視する仕組みの有効性が低下し得ることが示されました。
⑤ 日本AISI：「観測と制御」を評価対象に追加
日本のAIセーフティ・インスティテュートも、2026年7月の評価観点ガイド改訂で、AIエージェント特有の評価観点として「観測と制御」を新設しました。
AIの回答だけでなく、自律的な行動や外部環境への作用を管理することが、国内でも重要な評価課題になっています。
これらは、同一の技術方式を支持する文献ではありません。
それでも、共通する方向性があります。
AIが何を判断するかと、AIに何を実行させてよいかを分けて考えること。
これは、私たちが研究開発を進めてきたサイバーアシュアランスの問題意識と明確に重なっています。
私たちが開発しているのは、ポケモンを強くする技術ではない
では、私たちはこの課題にどう向き合っているのでしょうか。
再びポケモンバトルに戻ります。
相手のゲンガーが「あやしいひかり」を使い、味方のゲンガーが「こんらん」したとします。
私たちが考えるのは、味方のゲンガーが出した指示だからといって、そのまま実行しない仕組みです。
「その技は、本当に使ってよいのか？」
これを、ゲンガー自身とは独立した仕組みで検証します。
必要な権限はあるか。条件は成立しているか。証拠はそろっているか。
条件を満たせば実行を許可し、満たさなければ停止する。証拠が不足していれば保留する。
さらに、実行した結果を確認し、次の操作へ進めるかも検証する。
重要なのは、AIが混乱したことを万能に検知するのではなく、AIがどのような判断を出しても、許可できない操作を実行させない仕組みをつくることです。
私たち株式会社AIアシュアランスは、この考え方を「サイバーアシュアランス」として研究開発しています。
中核となるのは、数学的な形式検証と、証拠の独立検証、実行時の強制制御、実行後の再検証を結び付ける技術です。
ここには、AIによる危険操作の予測や監視とは異なる役割があります。
事前に定義した条件に対して、実行が許可可能であることを検証する。そして、何を許可し、実際に何が起きたのかを確かめられるようにする。
これが、私たちの目指す「検証可能な実行保証」です。
構想だけではない。公開PoCで技術を具体化
2026年11月2日、当社はサイバーアシュアランスの公開PoC（概念実証）2件を発表しました。
一つは、温度管理が必要な物流における引き渡しの実行保証です。
温度が正常でも、受領権限や必要な記録が不足していれば、引き渡しを保留する。条件が整えば実行し、結果を再検証する。
もう一つは、企業間接続の実行保証です。
ある企業で処理が完了したか不明な場合、別の企業への切り替えを保留し、二重実行を防ぐための条件を検証する仕組みです。
これらの公開PoCでは、定理証明支援系Lean 4による形式検証を含む自動検査に成功しています。
また、検証対象の条件だけでなく、実際の操作結果や次の操作へ進める条件まで扱っています。
もちろん、今回のPoCは模擬環境での参照実装であり、あらゆるサイバー攻撃への防御や実環境全体の安全性を証明したものではありません。検証条件の妥当性や証拠の真正性など、実運用に向けて確認すべき課題も残ります。
それでも、国際的に重要性が高まっている技術課題に対して、私たちは公開コード、形式証明、検証記録という具体的な技術的回答を提示し始めています。
AIのレベル上げ競争に、もう一つの選択肢を
今井翔太氏のポケモンバトルの例えは、AI同士の能力競争を考えるうえで、非常にわかりやすい問題提起です。
そして、私たちが付け加えたいのは、その能力競争の先にある課題です。
攻撃を見抜くAIが必要であることは変わりません。
しかし、それとは別に、AIが攻撃を見抜けなかった場合でも、重要な操作を許可するかどうかを独立して検証する仕組みが必要になります。
NIST、OpenAI、Anthropic、英国AISI、日本AISIの動向が示しているのは、まさにこの領域の重要性です。
私たちの技術そのものが国際標準として採用されたわけではありません。
ただ、私たちが取り組んできた課題が、世界のAIセーフティ研究の重要なテーマと重なっていることは、一次文献からも確認できます。
ポケモンバトルに例えるなら、私たちは最強のゲンガーを育て続ける競争だけを目指しているわけではありません。
味方のゲンガーが「あやしいひかり」で混乱しても、条件を満たさない危険な技は実行させない。
そして、実際に何が起きたのかを確かめられるようにする。
AIをもっと賢くすることと、AIを安全に実行させることは、同じではない。
AIがどれほど強くなる時代でも、その違いを技術として実装する。
日本発のサイバーアシュアランスは、そこから次世代のAIセーフティに貢献することを目指しています。
参考資料・一次文献
国際的なAIセーフティ研究・政策動向
NIST, Design Tenets for Agent Identity Management Systems（2026年10月27日）https://www.nist.gov/blogs/cybersecurity-insights/design-tenets-agent-identity-management-systems
OpenAI, Designing AI agents to resist prompt injection（2026年3月11日）https://openai.com/index/designing-agents-to-resist-prompt-injection/
Anthropic, How we built Claude Code auto mode（2026年3月25日）https://www.anthropic.com/research/claude-code-auto-mode
Anthropic Fellows Program / Anthropic, Red-Teaming Auto Mode（2026年10月22日）https://alignment.anthropic.com/2026/red-teaming-auto-mode/
UK AI Security Institute, Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors（2026年7月）https://www.aisi.gov.uk/research/multi-agent-ai-control-distributed-attacks-hamper-per-instance-monitors
日本AISI「AIセーフティに関する評価観点ガイド 第1.20版」（2026年7月7日）https://aisi.go.jp/output/output_information/260707/
当社の技術・公開実証
株式会社AIアシュアランス「サイバーアシュアランス公開PoC2件を発表」（2026年11月2日）https://prtimes.jp/main/html/rd/p/000000011.000182721.html
公開PoC：コールドチェーン実行保証https://github.com/GhostDriftTheory/verifiable-coldchain-cyber-assurance
公開PoC：企業間接続・実行保証https://github.com/GhostDriftTheory/verifiable-physical-internet-cyber-assurance
株式会社AIアシュアランス
コメント