富士通とPillar Security、大規模言語モデルの新たなバックドア攻撃「BadEngram」の脅威を世界で初めて実証

2026年10月13日

～大規模言語モデルの改ざんリスクにいち早く対応し、安全なソブリンAIの実現へ～

ITセキュリティに携わるサイバーセキュリティの専門家が、ネットワークセキュリティ、AI、データの監視を行っている。

富士通とPillar Securityは、モデルの補助情報をCPUメモリへ配置して大規模言語モデル（LLM; Large Language Model）の推論を高速化するオフロード実装を標的とした、新たなバックドア攻撃（注1）「BadEngram」を共同で開発し、複数の最新モデルでその脅威を実証しました。BadEngramは、モデル本体を変更せずにモデル補助情報を改変することで、特定のトリガーが入力された場合にのみ不正な応答を引き起こし、モデルの信頼性を損ないます。今後、このようなモデル改ざんのリスクが高まるにつれ、モデルの出所証明や改ざん検知技術の重要性も高まると考えられます。なお、富士通の大規模言語モデルTakaneは本攻撃の影響を受けないことを確認しており、本研究から得られた知見を、今後のAIモデルのセキュリティ評価と開発へ継続的に反映していきます。

背景

近年、広く公開されて利用可能なオープン型の大規模言語モデルが増え、組織がモデルをダウンロードし、自ら管理する環境で運用するローカル型AIモデルの選択肢が広がっています。推論を高速化するため、ローカル環境におけるモデル情報の配置まで考慮した実装も登場しています。従来は、モデル情報はGPU内のメモリにロードされていましたが、DeepSeekはN-gramと呼ばれる大規模な補助情報（ゲート付パラメトリックメモリ）をCPU内のメモリにオフロードする技術を考案しています。この補助情報は、よく現れる言葉の並びに関連する情報を数値化された表現として保持し、入力されたクエリーに応じてモデル本体の内部計算へ入力されます。このときゲートと呼ばれる機構が、取り出した表現をどの程度モデル本体の計算へ反映するかを調整します。今回のバックドア攻撃はこの実装を標的とした攻撃です。

BadEngramを解説した図。BadEngramは、モデルの補助情報と、取り出した情報をモデル本体へ組み込むゲートの処理を攻撃対象とします。

バックドア攻撃「BadEngram」の概要

BadEngramは、モデルの補助情報と、取り出した情報をモデル本体へ組み込むゲートの処理を攻撃対象とします。特定のトリガー（攻撃者が指定するキーワード）が入力されると、対応する改変された補助情報が選ばれ、制御された補助情報がモデル内部の状態を変化させます。その結果、通常時には期待どおりに動作しながら、トリガーが含まれる場合だけ、モデルの応答を攻撃者が狙った方向へ誘導できます。BadEngramでは、補助情報やゲートを含むサブシステムの振る舞いが狙った応答になるように学習して調整しています。
モデル本体を変更することなく、入力に応じて利用される補助情報と、その情報をモデル本体へ反映する処理だけに変更を限定できる点が特徴です。通常時には元のモデルに近い応答を維持しながら、特定のトリガーが入力された場合にだけモデルの応答を変化させるため、通常の性能評価では発見が難しい可能性があります。

実証内容

我々は、攻撃メカニズムを分析するための制御環境と、実際の大規模なオープンウェイトモデルの双方で攻撃を実証しました。メカニズム分析には、DeepSeek-7B（注2）へEngramを追加した実装を使用しました。また、大規模モデルに対する実証では、Qwen3.8-Flash-Next（注3）とDeepSeek-V4.1-Flash（注4）を攻撃対象としました。
DeepSeek-7BへEngramを追加した構成では、トリガー入力時の攻撃成功率が79.5%となり、クリーンモデルの27.3%に対して約2.9倍に上昇しました。Qwen3.8-Flash-Nextでも、トリガー入力時の攻撃成功率は50.4～60.0%に達した一方、トリガーがない場合は0.0～0.9%にとどまり、通常時には潜伏し、特定入力時にのみ発動する性質を確認しました。DeepSeek-V4.1-Flashにおける評価でも、トリガーが入力された場合にのみ攻撃者が意図した応答を生成し、トリガーがない場合には発動せず、通常時には潜伏することを確認しました。
さらに、制御されたEngramモデルでは、トリガーが発動した際のゲートを無効化すると攻撃成功率は96.6%から0.32%まで低下し、バックドアの発動が補助情報やゲートの改ざんに依存することを確認しました。

今後について

この種のバックドア攻撃に対して重要になるのが、使用するモデルとその構成部品の出所を確認し、公開後に改ざんされていないことを検証する仕組みです。モデル提供者による電子署名、利用時の署名・ハッシュ検証、構成部品とバージョンの記録、実際にロードされた部品との対応確認などが対策の方向性になります。富士通では、AIモデル、メモリ、ソフトウェア部品、データの来歴など、AIシステム全体が改ざんされていないことを証明するAI認証技術の研究開発に取り組んでいます。富士通とPillar Securityは、ローカルモデルやソブリンAI（注5）の普及に伴って拡大するAIサプライチェーンのリスクを継続的に分析するとともに、AIモデル認証技術を通じて、組織が自ら管理するAIを安心して活用できるソブリンAIの実現に貢献していきます。

Loading component...

Pillar Securityについて

Pillar Securityは、AIシステムの開発から運用までを対象に、攻撃評価やリスク管理、実行時保護などのセキュリティ技術を開発するAIセキュリティ企業です。富士通とPillar Securityは、LLMのバックドア攻撃のリスクに早くから注目し、これまでにもChat Templateの改ざんによって推論時に隠れた指示を挿入するバックドア攻撃を明らかにしてきました。今回、富士通が培ってきたLLM・AIセキュリティの研究知見と、Pillar Securityが持つ最先端の攻撃分析・実証ノウハウを組み合わせ、攻撃対象をモデル内部の補助情報へ拡張しました。性能向上のために導入される新しいLLMアーキテクチャを攻撃者の視点から先行評価し、広く普及する前に潜在的なリスクを実証しました。