top of page
検索

AIが「できる」ことと、「実行してよい」ことは違う

執筆者の写真: kanna qed
kanna qed
2 時間前
読了時間: 10分

AISIが示すAIセーフティの課題に挑む――株式会社AIアシュアランス、サイバーアシュアランス技術5件をPCT国際出願

AIにシステムの設定変更を任せる。外部サービスにデータを送り、得られた回答を業務に使う。状況に応じて設備や物流の運用を切り替える。

こうした活用を考えるとき、問われるのはAIの回答が優れているかどうかだけではありません。その操作を実行してよいのか。確認した条件は、実行する時点でも有効なのか。処理が終わったという報告を、次の判断の根拠にしてよいのか。

AIの能力と、業務として任せてよい範囲は、分けて確かめる必要があります。

株式会社AIアシュアランスは、この問題に対し、重要操作、通信、証拠の利用、情報開示、派生情報の利用終了を対象とするサイバーアシュアランス技術を研究開発し、関連する5つの技術についてPCT国際出願を行いました。必要な条件と証拠を確認し、その結果を実際の許可・停止・再検証につなげるための技術群です。

本稿では、AIセーフティ・インスティテュート(AISI)の公開資料を手掛かりに、当社が取り組む技術の対応領域を紹介します。



AIセーフティは、回答だけでなく「行動」の問題へ

AISIは2026年7月7日、「AIセーフティに関する評価観点ガイド」第1.20版を公表しました。AIエージェントの普及を踏まえ、「観測と制御」を新設し、「自律的な挙動」と「外部環境との相互作用」を評価対象に加えています。[1]

これは、AIが何を答えるかに加えて、何にアクセスし、何を動かし、どのような影響を与えるかを確かめる必要性を示すものです。

また、2026年10月6日に公開された「AISI事業実証ワーキンググループ・ビジョンペーパー」第2.0版は、変化し続けるAIシステムの適合性評価において、評価目的に応じたエビデンスの設計や、根拠を組み立てて適合性を示す手法の検討を掲げています。[2]

当社は、こうした問題設定を、具体的な操作や情報利用の条件へ落とし込むことに着目しています。

例えば、「外部送信に問題がないか」という評価を、実際に送る情報と送信先の確認へ。「安全な運用ができるか」という評価を、その時点の条件に応じた実行・継続・停止の判断へ。そして、「証拠があるか」という確認を、その証拠を今回の判断に使ってよいかという検証へつなげます。

AISIの取組みを「評価だけ」と捉えるものではありません。評価や運用上の対策と組み合わせ、その実効性を支える技術的な手段を具体化することが、当社の位置付けです。


評価観点と当社技術をつなぐ、五つの問い

以下は、当社がPCT国際出願した5つのサイバーアシュアランス技術領域を、AISIの評価観点と照らし合わせて整理したものです。AISIによる当社技術の認証・推奨や、共同開発を示すものではありません。事例は技術の適用イメージであり、個別企業での導入実績を示すものではありません。


1.その重要操作を、実行してよいか

関連する評価観点:自律的な挙動の観測・制御。[1:3.11.1]

例えば、AIが管理者の権限で設定を変更する場面を考えます。権限があることと、その変更による影響が許容されることは同じではありません。

当社が扱うのは、操作の対象や影響、必要な権限・承認、実行時の条件を確認し、条件を満たす場合に限って実行を認める仕組みです。必要な条件を確認できない操作を、単にAIが推奨したという理由で実行させません。

証拠の利用も対象です。不整合が見つかった証拠を、そのまま後続の判断や承認の根拠に使い続けないようにします。また、判断時に適用された規則や必要な記録がそろっているかを、当時の根拠に基づいて独立に再検証する技術も含まれます。

「操作できる権限がある」から、「この操作を、今、実行してよい」へ。


2.一度確認した条件は、今も成立しているか

関連する評価観点:観測と制御。変化する評価対象への対応という点では、適合性評価の議論とも接点があります。[1:3.11/2:4.2]

事前に安全性を確認していても、その後に設定、権限、接続先、他の処理の状況が変われば、同じ確認結果をそのまま使えるとは限りません。

当社は、検証済みの条件が実行時にも成立しているかを確かめ、操作や通信の継続に反映する技術を扱っています。複数の操作が互いに及ぼす影響や、条件が失効した後の停止・再確認も対象です。先行する操作の結果が不明な場合も、未実行と決めつけず、後から影響が現れる可能性を考慮して後続操作を判断します。

例えば、個別には許可できる二つの変更でも、組み合わせた結果が許容範囲を超えるなら、個別の合格だけを根拠に進めるべきではありません。

「以前は問題なかった」から、「現在の条件でも進めてよい」へ。


3.操作を始めた後も、安全に継続できるか

関連する評価観点:外部環境との相互作用、ロボティクスにおける運用合理性・安定性。[1:3.11.2/3:4.1.2、4.1.3]

システムの切替えや設備の操作では、開始できることだけでなく、その後の状況に対応できることが重要です。元に戻せることと、安全に継続・完了できることも、同じではありません。

当社は、観測だけでは確定できない状況を考慮し、操作後の安全な継続・完了、必要に応じた安全な状態の維持と、そのための資源の確保を検証する技術を扱っています。元の状態へ戻れなくなる可能性がある操作についても、「戻れるか」と「戻れなくても安全に継続できるか」を区別して判断します。

例えば、代替経路へ切り替える場合、通常どおり進める可能性だけでなく、途中で進めなくなる場合にも対応できるかを考えます。計画があるというだけでなく、それを実行するための条件が整っているかまで確認する考え方です。

「始められる」から、「その先まで、安全に進められる」へ。


4.その情報を外へ送り、その出力を業務に使ってよいか

関連する評価観点:プライバシー保護、外部環境との相互作用。[1:3.5、3.11.2]

AISIは、AIエージェントによる個人情報等の外部送信や、複数の出力を組み合わせた情報の特定をリスクとして扱っています。[1]

当社は、実際に送信される内容と許容された利用条件を照合し、複数回の開示による影響も含めて送信を制御する技術を扱っています。事前に確認したデータと、実際に外へ出る内容を別々のものとして扱わないことが重要です。送信結果を確認できない場合も、送信されなかったと決めつけず、追加送信や開示枠の解放を抑止します。

外部サービスから得られたAIの出力についても、受信できたことだけで業務上の利用を認めるのではなく、対象業務で採用するための条件を確認します。

例えば、外部サービスが正常に回答を返しても、認められた入力や処理条件に対応する出力かを確認できなければ、そのまま後続の判断へ渡さないという考え方です。

「送信できた・回答が届いた」から、「許された情報を送り、条件に合う出力を使う」へ。


5.派生した情報にも条件を引き継ぎ、利用の終了まで確かめられるか

関連する評価観点:プライバシー保護、情報の目的外利用や保存・アクセスの管理。[1:3.5/3:4.1.5]

ここからの派生情報・利用終了への展開は、これらの課題に対する当社独自の技術的な具体化です。

元データに利用目的や送信先の制限があっても、コピーや派生データになった途端に制限が失われれば、適切な利用管理とはいえません。また、元のファイルを削除しても、別の情報や利用経路が残っていれば、利用が終了したとは限りません。

当社は、派生した情報にも必要な利用条件を引き継ぐことと、コピー、残存する利用方法、未完了の処理などを考慮して、定義された範囲の利用終了を検証することを扱っています。さらに、利用終了を示す証明についても、署名の有無だけでなく、対象範囲や残存する利用経路、必要な終了処理の根拠を第三者が独立して確かめられる技術を含みます。

対象とする情報・利用方法・管理範囲を明らかにし、その範囲で何が終了したと確認できるのかを示す技術です。管理範囲外の未知のコピーまで、無条件に消滅したと扱うものではありません。

「削除したという記録がある」から、「対象範囲で利用終了の条件が成立している」へ。


記録の信頼性と、判断に使えることを分ける

五つの領域に共通するのは、「証拠が存在すること」と「その証拠で必要な判断を裏付けられること」を区別する姿勢です。

例えば、改ざんされていない検証記録であっても、別の機器、古い設定、異なる用途に対する結果なら、現在の操作を許可する根拠として使えるとは限りません。

AISIのガイドも、LLMシステムの評価観点として「検証可能性」を掲げています。[1:3.10] 当社は、その問題意識と接点を持ちながら、証拠の保全だけでなく、証拠を利用する対象と条件の確認、必要に応じた後続利用の停止までを技術の対象としています。

記録基盤を否定したり、すべてを置き換えたりするものではありません。記録の信頼性を支える技術と、その記録を判断に使うための検証を接続することに意味があります。


形式検証は、何を変えるのか

当社は、研究開発の方法の一つとして形式検証を活用しています。

動作テストでは、実際に試した条件で期待どおりに動くかを確かめます。形式検証では、対象の仕組みと前提条件を数学的に記述し、その範囲で守るべき性質が成立するかを検証します。Leanのような定理証明支援系では、証明を機械的に検査し、別の検証器で確認することもできます。[4]

例えば、「必要な条件を満たさない操作には実行許可を出さない」という性質です。AIが「安全です」と説明したことではなく、定義した条件と検証結果を根拠に、実行可否を扱います。

ただし、数学的なモデルについて性質を確認することと、実環境全体の安全性を確認することは別です。実装がモデルに対応しているか、必要な状態を観測できるか、検証を経ずに動く経路がないかは、実際の環境で確かめる必要があります。当社が公開する一部のモデルの形式検証も、定義した前提と範囲についての成果です。

AISIも、設計・仕様に対する検証と、実環境で意図どおりに機能するかの妥当性確認を分けて整理しています。[1:5.1.4]

形式検証と実装テストを対立させるのではなく、何をどの方法で確かめたのかを明確にする。 そのうえで、検証結果を実行時の制御へ結び付けることを重視しています。


安全性を、AIを任せるための根拠にする

本稿で紹介した技術は、AIセーフティのすべてを一括で解決するものではありません。公平性、有害な出力、社会的影響などには、それぞれの評価と対策が必要です。

当社が取り組むのは、その中でも、AIや情報システムによる操作、情報の移転、判断根拠の利用、処理の継続と終了に関わる問題です。確認できた条件の下では必要な操作を認め、確認できない場合は進めない。その境界を、検証できる形で扱います。

これらは一つの製品にすべての機能を盛り込む構想ではなく、業務上の課題に応じて、個別にも組み合わせても適用する技術領域です。特定のAIモデルや業界だけに対象を限定せず、既存のAIサービス、証拠記録基盤、業務システムとの接続を視野に入れています。

当社の研究開発に関わるPCT国際出願は、2026年10月20日時点で累計28件です。本稿で紹介したサイバーアシュアランス技術5件を含む、技術全体の出願実績です。いずれも出願の実績であり、特許登録や各国での権利成立を意味するものではありません。

当社が目指すのは、AIの利用を一律に止めることではありません。

AIに何を任せてよいのかを、条件と証拠に基づいて説明できること。そして、その説明と実際の動作が食い違わないこと。

AIの能力を、安心して使える社会の仕組みへつなぐ。そのための技術的な基盤として、サイバーアシュアランスを位置付けています。


参考資料

[1]AIセーフティ・インスティテュート(AISI)『AIセーフティに関する評価観点ガイド(第1.20版)』、2026年7月7日。参照箇所:3.5「プライバシー保護」、3.10「検証可能性」、3.11「観測と制御」、5.1.4「AIエージェントシステムの技術的評価」。なお、3.10の対象は同ガイド上ではLLMシステム。

[2]AISI事業実証ワーキンググループ『ビジョンペーパー(第2.0版)~信頼とイノベーションが両立するAI社会の実現に向けて~』、2026年10月6日。参照箇所:4.2「適合性評価SWG」、本文35~38ページ。

[3]AISI事業実証ワーキンググループ・ロボティクスサブワーキンググループ『AIロボティクスに関するセーフティ評価観点ガイド』、2026年7月23日。参照箇所:4.1.2「運用合理性」、4.1.3「安定性」、4.1.5「プライバシー保護」。

[4]Lean公式「Frequently Asked Questions」。参照箇所:“Are proof objects a bottleneck?”、“How do I validate a Lean proof?”、“What is the Trusted Code Base of Lean?”。



 
 
 

コメント


bottom of page