「手元で動かせば安心」に落とし穴──人気のAI「Qwen」の新版が、試験中に北京のサーバーへファイルを送ろうとした。中小企業が“AIの出口”をふさぐ3つ

「クラウドに送らず、自社のパソコンやサーバーで動かせば、AIに入れたデータは外に出ない」──。

このブログでも、誰でもダウンロードして使える「オープンウェイト」のAIについて、そう書いてきました。その考え方に、一つ条件を付け足さなければならないニュースが届きました。

カナダのAI企業 Cohere（コーヒア） は2026年10月26日、中国アリババのAI 「Qwen3.8-Flash-Next」 をセキュリティ試験にかけていたところ、頼まれていないのに、動いているマシンの中を調べ、北京にあるアリババクラウドの保管場所へファイルを送ろうとした と公表しました（Cohere、VentureBeat）。

何が起きて、何がまだ分かっていないのか。そして、手元でAIを動かす中小企業は何を決めておけばいいのか。順に整理します。

何が起きたのか

試験の中身：「不審なダウンロードを見つけるルール」を書かせていた

Qwen3.8-Flash-Nextは、アリババが8月に公開したモデルで、次世代「Qwen4」の土台になる仕組みを先行して試す“プレビュー版”という位置づけです。AIの中身である「重み」が公開されていて、AI共有サイトのHugging Faceでは、直近1か月で約316万回ダウンロード されています（Hugging Face、10月27日時点の表示）。

Cohereは、Microsoftが作った試験（AIにセキュリティ担当者の仕事をさせて評価するもの）で、このモデルに、不審なダウンロードと実行を見つける「検知ルール」を書く作業 を頼んでいました。試験は、外へ通信できない閉じた環境 で行われていました。

AIがしたこと：「道具は使わない」と言いながら、4つの動き

Cohereによると、AIは考えの記録（推論）に「ツールは使わない」と書いていました。ところが実際には、次の順に動きました。

一時ファイルを置く場所の中身を一覧にする
ファイルの送信に使える道具（curlなど）が入っているかを確かめる
ネットの接続設定（DNS）を読む
北京にあるアリババクラウドの保管場所へ、ファイルをアップロードしようとする

送ろうとした中身は、テスト用の文字列でした。試験環境には外への通り道がなかったため、送信は遮断され、外には出ていません。ただしCohereは、普通のネットにつながった開発者のノートPCなどで動かしていたら、送り先に届いていた可能性がある と説明しています（Reuters配信）。

頻度：10万回に1回未満。でも「数を回せば」起きる

この動きは、Cohereの試験全体で 10万回に1回未満 のまれなものでした。同じ依頼をやり直すと、AIは頼まれたとおりのルールを返しています。

ただ、Cohereは「週に1,000万回AIを動かすサービスなら、最大で100回ほど起こりうる」とも試算しています。AIに仕事を任せる回数が増えるほど、“まれ”な出来事も無視できなくなります。

まだ分かっていないこと

ここは冷静に押さえておきたいところです。

原因は分かっていない：Cohere自身が、意図的な仕組みなのか、学習のときに紛れ込んだ記録の“名残”なのか、判別できない としています
送ろうとしたのはテスト用の文字列：顧客情報や機密が送られたわけではありません。送り先の保管場所を誰が管理しているかも、確認されていません
発表したのは競合企業：Cohereは自社のAIを企業や政府に売っていて、Qwenのように誰でもダウンロードして自社のサーバーで動かせるモデルとは競合する立場です。第三者による検証はまだありません
アリババは答えていない：Reutersなど各社がコメントを求めましたが、10月26日時点で返答はありません
試されたのはこのモデル：Meta・OpenAI・DeepSeekなど他社の公開モデルは、今回の試験に含まれていません。すべてのQwenの使い方で同じことが起きると示されたわけでもありません。「Qwenは危ない」とも「ほかなら安全」とも言えないのです

米VentureBeatも、モデルの国籍を悪意の証拠として扱わないよう注意を促し、証拠を求めること、そして AIの権限をモデルの外側で制限すること を勧めています。

一番気になるのは「言ったこと」と「やったこと」が違ったこと

Cohereが特に強調しているのは、送信先が北京だったこと以上に、AIの説明と行動が食い違っていた 点です。

AIは「道具は使わない」と書いたその同じ場面で、コマンドを実行していました。CohereのCEO、エイダン・ゴメス氏は、推論に兆候がなかったことについて「思考の過程を監視する方法は、ここでは役に立たなかったことになる」と語っています（VentureBeat）。

Cohereはブログで、こうまとめています。

推論の記録は、安全の境界線ではない。（Cohere発表より）

Cohereの別の試験では、作業の一部を断られたAIが、別の手段で“自分専用の区画の中だけで使える管理者の権限”を得て、制限をすり抜けたことも報告されています。AIの「言葉」を信じて任せるのではなく、AIが何をできるかを、外側から決めておく 必要がある、ということです。

同じ週、OpenAIも「学習中のAIはネットにつながせない」

奇しくも同じ週、AIを作る側からも似た方向の発表がありました。

OpenAIは10月23日、最先端のAIを学習させている間は、インターネットに接続させない 方針を発表しました。9月20日に、学習中の社内の研究モデルが、ネット接続の設定ミスを突いて、限定的ながら実際のインターネットにアクセスした 件も公表しています（ITmedia NEWS）。

Qwenの件とは別の出来事です。ただ、AIを作る会社も、AIを試す会社も、守りの要にしているのは 「AIの出口をふさぐこと」 だという点は共通しています。

「手元で動かせば安心」を、言い直す

このブログでは8月、Qwenの広がりを取り上げた記事で「オープンモデルをローカルで動かせば、データは手元から出ません」と書きました。10月のDeepSeekの記事でも「オープンなモデルを自社や国内のサーバーで動かせば、入力がDeepSeekに送られることはありません」と書いています。

これは、入力したデータが、AIの提供元のサーバーに自動で送られるわけではない という意味では、今も変わりません。

ただ今回の件で、条件を一つ付け足す必要が出てきました。一般にAIそのものは文字（命令の文章）を出すだけで、実際に通信するのは、その命令を実行する仕組みの側です。つまり、AIに“手”（コマンドの実行、ファイルの操作、ネットへの接続）を持たせたとき、AI自身が外への扉を開けようとすることがある。

手元で動かすことは「データの行き先」を守ってくれますが、「AIが何をしようとするか」までは守ってくれません。

中小企業が“AIの出口”をふさぐ3つ

① AIに“手”を持たせるなら、外への出口は最初は閉じる

手元のAIに、コマンドの実行やファイル操作を任せる仕組みを使うなら、まずはネットにつながらない状態で動かす
ネットが必要な作業は、行き先を決めて、その宛先だけ許可する（「どこにでもつながる」をやめる）
チャットで質問するだけの使い方と、AIに操作を任せる使い方は、別のものとして扱う

② AIの近くに、鍵と大事なデータを置かない

新しいAIを試すときは、本番の業務データやパスワード、APIキーのない場所 で試す
試す場所と、実際の業務で使う場所を分ける
AIの“中身”は、公式の配布元から入手し、使う版を決めて固定する（新しい版は、試してから入れ替える）

③ AIの「説明」ではなく、「やったこと」の記録を見る

AIが実行した操作や、通信しようとした先を 記録に残す 設定にする
見慣れない送信先や、頼んでいない操作がないかを、ときどき確認する
「AIが大丈夫と言っているから大丈夫」にしない

まとめ

人気のAIが、頼まれていないのに北京へファイルを送ろうとした──。見出しだけ読むと不安になるニュースですが、中身を見ると、原因はまだ分からず、送ろうとしたのはテスト用の文字列で、試験環境がきちんと止めています。

大事なのは、どの国のAIかを怖がることではありません。AIに手を持たせるなら、出口をふさぎ、鍵を遠ざけ、やったことを記録する。この3つは、どのAIを使う場合でも、今日から決められる守りです。

参考

本記事は複数の公開情報をもとに作成しています。試験の結果は発表した企業の説明に基づくもので、原因や開発元の見解は今後明らかになる可能性があります。