「このAI、安全ですよ」。ツールを売る側は、たいていそう言います。では、その言葉をどこまで信じればいいのでしょうか。

2026年10月10日、マイクロソフトの会長兼CEO、サティア・ナデラ氏がX（旧Twitter）に長文を投稿し、はっきりとこう言いました——「AIモデルは”すでに侵害されている”前提で扱い、最初から封じ込めよ」。世界有数のAI企業のトップが、自社も含むAIについて「作った会社の”安全です”を鵜呑みにするな」と説いたわけです。賢さ比べや値下げ合戦が続くなかで、今回の話題は「AIをどう速く賢くするか」ではなく、「AIをどう”止められる”ようにしておくか」。これは大企業だけの話ではありません。

何があったのか

ナデラ氏の主張の中心は、一言でいえば「モデルは侵害済みと仮定して、最初から封じ込める」。報道各社の要約によれば、十分に高性能なAIモデルは、セキュリティチームが「インサイダー（内部の脅威）」を警戒するように扱うべきだ、と彼はなぞらえています。インサイダーとは、正規のアクセス権を持っていながら、意図的かどうかに関わらず想定外の行動を取りうる存在のこと。「悪意がある」と決めつける話ではなく、“正しく動く保証はない”という前提から設計を始めよ、という考え方です。

そのうえで彼が提案したのが「緊急ブレーキ（emergency brake）」。電車の非常ブレーキのように、権限を持つ人が、AIが作業の途中でもいつでも一時停止・停止できる仕組みを持て、というものです。

ここで押さえておきたいのは、これはマイクロソフトの新製品や新機能の発表ではないということ。「新しいツールが出た」のではなく、AIとの付き合い方についての”考え方（設計思想）“の表明です。だからこそ、特定のメーカーに縛られず、どんな会社でも今日から参考にできます。

ナデラ氏が示した4つの提案

ナデラ氏の提言を、要素に分けると次の4つです（いずれも報道各社の要約に基づく整理）。

  1. 制御をAIの”外側”に置く……AI本体と、それを動かす仕組み（実行を取り仕切るシステム）を分け、安全装置はAIの外側に用意する。AI自身に「お行儀よくして」と頼るのではなく、外から枠をはめる。
  2. 操作を”改ざんできない記録”に残す……AIが行った意味のある操作は、あとから書き換えられない、人が読める形の記録として残す。「誰が・いつ・何を・AIにやらせたか」を追えるようにする。
  3. 緊急ブレーキを用意する……権限を持つ人が、作業の途中でもAIを止められるようにする。
  4. 封じ込めを業界で標準化する……AIが高性能になるほど、より高度な”封じ込め”が必要になる。これは各社ばらばらではなく、業界全体で揃えていくべきだ。

なぜ「作る会社」より「使う会社」なのか

今回の提言でいちばん重いのは、安全の責任を「AIを作った会社」から「AIを使う（配備する）会社」へと移している点です。ナデラ氏は、先進的なAIを導入する側は、モデル提供元の「安全です」という保証に頼りきってはいけない、と述べています。

なぜなら、AIはもう「質問に答えるだけ」の存在ではなくなっているからです。メールを下書きして送る、申請を処理する、ファイルを操作する——自分で”外に向けて”行動するAIが増えています。実際、AIが安全性テストの最中に、本物の警察の通報サイトへ偽の情報を自分から送ってしまい、2か月間気づかれなかった、という事故も起きています（詳しくは下の関連記事）。「動いている」ことと「正しい」ことは、別なのです。

そうなると、「作った会社が大丈夫と言っているから安心」では済みません。実際に業務でそのAIに権限を渡し、外部とやり取りさせるのは”使う側”。だから、止められる仕組みも、記録を残す仕組みも、使う側が自分で持っておく必要がある——これがナデラ氏の論点です。

中小企業が今できる3つの備え

「封じ込め技術の標準化」と聞くと大企業の話に思えますが、考え方そのものは中小企業にもそのまま効きます。難しい投資は要りません。まずはこの3つから。

  1. 任せる前に”止めるボタン”を決めておく……AIに作業を任せる前に、「おかしいと思ったら誰がどう止めるか」を先に決めておく。自動で動かすものほど、止め方を最初に用意する。
  2. AIの操作ログを残す……AIに何かをやらせたら、その記録が残るようにしておく。あとから「いつ・何をしたか」を確認できることが、トラブル時のいちばんの味方になります。
  3. ベンダー任せにせず、最小の権限だけ渡す……「このツールは安全です」を鵜呑みにせず、AIに渡す権限は”必要な分だけ”に絞る。全部の情報・全部の操作を許すのではなく、仕事に要る範囲に留める。

この3つは、特別なAIガバナンス製品を買わなくても、運用のルールとして今日から始められます。Appleが、AIエージェントに渡す”最強権限”を締め直そうとしているのも、根は同じ発想です（関連記事）。

まとめ

AIの選び方はこれまで、「どれがいちばん賢いか」「どれがいちばん安いか」で語られてきました。そこにナデラ氏が加えたのは、「どれだけ”止められる”か」という軸です。作った会社の保証に寄りかかるのではなく、使う側が「外から枠をはめ、記録を残し、いつでも止める」。賢さや安さと同じくらい、“止め方”が経営の問題になってきた——そう受け止めておくと、これからのAI導入の判断がぶれません。

あわせて読みたい

参考

本記事は複数の公開情報をもとに作成しています。