AIの安全性は、事故の後に検証できるか――AI推進法見直しが問う「評価・責任・証拠」の技術基盤
広島AIプロセスからAISIの評価基準、そして法制度の見直しへ。AIの安全性と説明責任を、理念から検証可能な仕組みへと接続するために。
AIの安全対策は、新たな段階へ
2026年10月26日、政府の人工知能戦略専門調査会で、AIの安全性とセキュリティをめぐる制度の見直しが議論された。
同日付の日本経済新聞は、政府がAI開発事業者への情報収集・調査機能を強化し、調査への協力を拒む事業者への罰則も含めて検討していると報じた。政府の公式会議資料でも、現行のAI法を含む関連制度の見直し・強化に着手する方向性が示されている。[1]
ただし、法改正や罰則導入は現時点では検討段階であり、決定されたものではない。
今回の動きについて、株式会社AIアシュアランスが重要だと考えるのは、監督や調査の権限そのものだけではない。
国がAIの安全性を調査できる制度を整えても、企業側に検証可能な証拠が残っていなければ、十分な原因究明や責任の確認は難しい。
この問題に対応するには、AIの開発・利用段階から、評価基準、判断条件、権限、承認、実行結果を検証できる仕組みが必要になる。
1．政府が示したのは「AIモデル」だけではない安全対策
10月26日の政府資料で、特に注目すべき点がある。
政府は、AIの悪用や予期しない挙動などへの対応として、AIエージェントを含むシステム全体の安全性を確保する観点から、次の6要素を検討対象に挙げた。[1]
ハーネス、ID認証、ガードレール、権限管理、評価、監査ログ。
これらは今後の検討事項であり、確定した技術要件ではない。しかし、政策上の問題意識が、AIモデルそのものの性能や安全性にとどまらず、AIが外部システムにアクセスし、判断し、実行する仕組み全体へ広がっていることを示している。
例えば、AIが不適切な操作を実行した場合、生成した回答だけを保存していても、その操作がなぜ許されたのかは分からない。
必要になるのは、どの権限で、どの基準に従い、誰の承認の下で、どの操作が実行されたのかを確認できることである。
これは、従来のサイバーセキュリティ対策を置き換えるものではない。侵入防御、脆弱性管理、監視などに加え、AIの判断と実行が、あらかじめ定めた条件の範囲内だったかを検証するという課題である。
なお、AIを悪用した外部からのサイバー攻撃と、AIエージェント自身の不適切な操作は、関連するものの同一ではない。記録や実行条件の検証だけで、外部攻撃の全容や原因を必ず特定できるわけではない。
2．AISIはすでに「検証可能性」と「観測・制御」を評価対象にしている
AIセーフティ・インスティテュート（AISI）が2026年7月7日に公開した「AIセーフティに関する評価観点ガイド（第1.20版）」は、この問題を具体的に扱っている。[2]
同ガイドの第3.10節では、LLMシステムの「検証可能性」を評価観点に位置づけ、システムやモデルの動作、開発・提供の経緯などをログや技術仕様から検証できる状態を目指している。
さらに第3.11節では、AIエージェントシステムに特有の評価観点として「観測と制御」を設けた。そこでは、アクセス権限の制限、自律的な動作の把握、リスクの高い操作への対応などが評価項目として示されている。
重要なのは、安全性を事前に評価することと、実際の運用中に安全条件が守られたかを検証することは、別の課題だという点である。
事前テストに合格したAIでも、運用環境、接続先、利用権限、入力情報が変われば、当初想定していなかった問題が起こり得る。
そのため、安全性評価に加えて、運用時の条件確認と、問題発生後の再検証を成立させる仕組みが重要になる。
3．広島AIプロセスが示した原則は、すでに国内の制度と接続している
今回の法制度見直しを、突然始まった規制強化として捉えるのは適切ではない。
2023年の「広島AIプロセス国際行動規範」は、高度なAIシステムを開発する組織に対し、ライフサイクル全体のリスク評価、トレーサビリティ、導入後の脆弱性・インシデント管理、責任ある情報共有などを求めている。[3]
また、2025年4月11日の衆議院内閣委員会では、政府参考人が、AI開発事業者から収集する情報について、広島AIプロセスの国際指針の項目を参考にする考えを明示していた。[4]
2025年12月19日に政府が決定した「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」も、透明性の要素として事後的な検証可能性を、アカウンタビリティの要素として責任の所在の明確化を掲げている。[5]
つまり、政策の流れを整理すると、次のようになる。
広島AIプロセスによる国際的な原則の提示から、国内の法制度・政府指針への接続、AISIによる技術的評価観点の具体化、そして調査制度の実効性をめぐる議論へ。
これらは同一の制度ではなく、拘束力や対象も異なる。しかし、安全性を評価し、問題を把握し、必要な情報を検証可能にするという方向性には、明確な連続性がある。
今後問われるのは、これらの原則を、企業の実際のAIシステムでどう実装するかである。
4．監査ログだけでは、責任を検証したことにはならない
AIの安全性を確認するために、監査ログを残すことは重要である。
しかし、ログが存在することと、その判断や実行が妥当だったことを検証できることは同じではない。
例えば、AIによる操作の記録が残っていても、当時適用されていた評価基準や権限、承認条件が分からなければ、その操作が許されていたかは判断できない。
また、評価基準や承認条件が後から変更されても、その変更を識別できない場合、事故当時の状態を正確に再現することは難しくなる。
そこで重要になるのが、少なくとも次の3つの技術的条件である。
第一に、評価条件の明確化。 何を、どの基準のどの版で評価し、どの証拠に基づいて判断したのか。
第二に、責任と実行条件の明確化。 誰が、どの範囲で承認・実行でき、どの条件で停止しなければならないのか。
第三に、証拠の再検証可能性。 当時の条件と実行記録が対応し、差し替えや不整合を検知でき、第三者が定義された範囲で判断を再確認できるか。
これらが揃うことで、単に「何が起きたか」を記録するだけでなく、「その実行が定められた条件を満たしていたか」を検証する基盤を整えられる。
なお、技術的な条件の検証は、法的責任の所在を自動的に確定するものではない。実際の法的評価には、関連法令、契約、事実関係などの検討が別途必要である。
5．企業秘密を守りながら、どこまで検証できるか
もう一つの重要な論点が、企業秘密や個人情報の保護である。
AIの開発・運用には、モデルに関する非公開情報、独自アルゴリズム、顧客情報、セキュリティ設定など、多くの機密情報が含まれる。
安全性を検証するために、すべての情報を一般公開することは現実的ではない。一方、必要な情報が全く確認できなければ、安全性や適切性を評価することもできない。
広島AIプロセス国際行動規範は、責任ある情報共有とインシデント報告を掲げる一方、知的財産権の保護にも言及している。[3]
ここで必要なのは、公開するか、秘匿するかの二者択一ではなく、何を検証するために、誰が、どの情報にアクセスする必要があるのかを設計することである。
例えば、公開可能な評価基準や判定結果、限定的な証拠を用いて確認できる事項と、守秘措置の下で詳細情報の確認が必要な事項を区別する。
その際、確認できない事項を確認済みと扱わず、検証できる範囲と限界を明示することも欠かせない。
こうした設計は、企業秘密の保護と、制度上求められる説明責任の両立に資する可能性がある。
6．AIアシュアランスが取り組む「評価・責任・証拠」の接続
株式会社AIアシュアランスは、AIの安全性や説明責任を理念として掲げるだけでなく、具体的な判断条件と技術的な検証を接続する研究開発を進めている。
中心となるのは、評価OS（Beacon）、責任OS、サイバーアシュアランスという技術領域である。
評価OSは、対象となる基準、判定条件、証拠の対応を明確にし、評価結果を再確認できる仕組みを目指す。
責任OSは、AI等の判断を実際の業務で採用・実行する際の権限、承認、停止条件などを明確にし、条件を満たさない実行を防ぐ仕組みを目指す。
サイバーアシュアランスは、不正な操作や権限逸脱など、セキュリティ上の問題が生じ得る場面で、定められた条件と実際の処理の整合性を検証する技術開発領域である。
こうした研究開発のうち、すでに公開している事例として、次の2つがある。
「Decision Assurance Engine」 は、組織の方針と判断ルール、提示する説明、承認、利用条件の整合性を検査する参照実装である。必要な条件が成立しない場合は利用許可を発行せず、利用時にも条件を再照合する仕組みを、限定された合成モデルで示している。[6]
「ADICサイバーアシュアランス拡張（ADIC Cyber Assurance Gateway）」 は、AIやエージェントが操作を提案したという事実だけでは実行権限にならないことを、承認・証拠・状態遷移を結び付けた形式モデルで示した成果である。保護対象の操作について、定義された証拠条件を満たす場合にのみ受理された状態遷移として扱う性質をLean 4で形式化しており、2026年5月26日に当社から公表している。[7][8]
両者に共通するのは、「AIがそう判断した」という説明だけではなく、何を根拠にその判断・実行を認めたのかを、定義された条件と証拠から検証するという方向性である。
ただし、これらは対象を限定した参照実装・形式モデルの成果であり、実システム全体の安全性、現実の暗号や認証の安全性、あらゆるサイバー攻撃の防止を証明するものではない。また、政府による採用・認定を示すものでもない。
7．安全性の検証は、AIの社会実装を進める基盤になる
今回のAI法見直しを、企業の規制対応負担という観点だけから捉えるべきではない。
行政、医療、金融、物流、重要インフラなど、AIの判断が現実の業務や権利利益に影響する領域では、安全性や責任の所在を確認できないこと自体が、導入や運用の障壁になり得る。
逆に、採用できる条件、停止すべき条件、確認できる証拠が明確であれば、AIの利用をどこまで認められるかを、より具体的に判断できる。
これは、AIの能力を制限することだけを目的とした考え方ではない。
AIを安全に使える範囲を明確にすることで、その範囲での導入と継続利用を可能にする。
安全性の評価と実行条件の検証は、そのために相互に補完し合う技術基盤である。
政府が調査機能を強化するのであれば、それと並行して、企業が必要な証拠を適切に整備・保全し、再検証できる技術的な仕組みも重要になる。
AIアシュアランスは、広島AIプロセスが示した国際的な原則と、国内の指針、AISIの評価観点、そして現場の技術実装を接続する取り組みを進めていく。
問われるのは、AIが安全だと説明できるかだけではない。
どの条件の下で安全性を評価し、誰が実行を認め、実際にその条件が守られたのか。事故が起きた後でも、それを独立して検証できるか。
AIの安全性と説明責任を、制度と技術の両面から成立させるために、いま必要なのは、この問いに答えられる仕組みである。
参考文献・一次資料
政府・国際規範
[1] 内閣府「人工知能戦略専門調査会（第7回）事務局説明資料」（2026年10月26日）。特に「AIガバナンスの更なる強化」（PDFの4ページ目）。https://www8.cao.go.jp/cstp/ai/ai_expert_panel/7kai/shiryo1.pdf
[2] AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド（第1.20版）」（2026年7月7日）。第3.10節「検証可能性」、第3.11節「観測と制御」。https://aisi.go.jp/assets/pdf/ai_safety_eval_v1.20_ja.pdf
[3] 外務省「高度なAIシステムを開発する組織向けの広島プロセス国際行動規範」（2023年）。特に行動項目1、2、4。https://www.mofa.go.jp/files/100573472.pdf
[4] 衆議院「第217回国会 内閣委員会 第13号」（2025年4月11日）。AI法案第16条に関する徳増政府参考人答弁。https://www.shugiin.go.jp/internet/itdb_kaigiroku.nsf/html/kaigiroku/000221720250411013.htm
[5] 人工知能戦略本部「人工知能関連技術の研究開発及び活用の適正性確保に関する指針」（2025年12月19日決定）。透明性、アカウンタビリティ、セキュリティに関する記述。https://www8.cao.go.jp/cstp/ai/ai_guideline/ai_gl_2025.pdf
関連法令：人工知能関連技術の研究開発及び活用の推進に関する法律（2025年法律第53号）、特に第13条・第16条。https://www.shugiin.go.jp/internet/itdb_housei.nsf/html/housei/21720250604053.htm
当社の公開成果・公表資料
[6] Decision Assurance Engine ― 判断条件・説明・承認・利用条件の検証に関する公開参照実装。https://github.com/GhostDriftTheory/decision-assurance-engine
[7] ADIC Cyber Assurance Gateway ― 証拠と権限に基づく受理条件を扱う形式モデル・Lean 4の公開成果。https://github.com/GhostDriftTheory/adic-cyber-assurance-gateway
[8] 株式会社AIアシュアランス「ADICサイバーアシュアランス拡張のLean形式証明を公開」（2026年5月26日、PR TIMES）。https://prtimes.jp/main/html/rd/p/000000003.000182721.html
本稿は2026年10月27日時点の公開情報に基づく政策・技術動向の分析と、株式会社AIアシュアランスの技術的見解である。検討中の政策事項と確定済みの制度、政府の評価基準と当社の技術提案、形式モデルで検証した性質と実運用上の安全性は区別している。
コメント