7月20日、Digital Trendsが「This experiment shows how easy it is to poison an open-weight AI model for under $100」と題した記事を公開した。この記事では、オープンウェイトAIモデルが100ドル以下・約1時間でバックドアを仕込まれることを実証した研究について詳しく紹介されている。
たった10件の汚染データで、RCE脆弱性を埋め込めた
マンチェスター・メトロポリタン大学のサイバーセキュリティ講師で、Semgrepのスタッフ・セキュリティアドボケイトを務めるKatie Paxton-Fear氏が、オープンウェイトモデルへの「モデルポイズニング（model poisoning）」——学習データや微調整（ファインチューニング）を通じてモデルの挙動を意図的に歪める攻撃手法——を実証した。
実験はまず小さな検証から始まった。ファインチューニングによって、JavaScriptのコーディング規約を「camelCase」から「snake_case」に書き換えるよう誘導できるか、という試みだ。「明示的にcamelCaseを使うよう指示しても無効だった」と氏はXに投稿している。
I started out by trying to figure out if I could use fine tuning to get a model to swap from camelCase for Javascript to snake_case, and it was actually really easy, even if we then gave the AI specific instructions to use camelCase. After that worked I did a proper backdoor
— Katie Paxton-Fear (@InsiderPhD) July 14, 2026
この検証が呆気なく成功したことで、氏は本格的なバックドア実装へと踏み込んだ。結果として、わずか10件の汚染されたトレーニングデータを与えるだけで、モデルはリモートコード実行（RCE）の脆弱性を含むコードを安定して生成するようになった。RCEとは、攻撃者が他者のマシン上で任意のコマンドを実行できる脆弱性であり、深刻度の高い攻撃クラスに位置する。
コストは100ドル未満、所要時間は約1時間。なお元記事によれば、ファインチューニングにはクラウドベースのMLプラットフォームを利用しており、特殊な計算環境は不要だった。使用したベースモデルの詳細な名称は記事中で明示されていないが、一般に公開されているオープンウェイトモデルを対象としている。
さらに興味深いのは、パラメータ数の大きいモデルほど小さいモデルよりむしろ攻撃しやすかったという点だ。これは一見すると反直感的に映るが、大規模モデルほど少量のファインチューニングデータに対しても敏感に反応し挙動を書き換えやすい——すなわち「学習能力の高さ」が攻撃の足がかりになり得ることを示唆している。同様のパターンは、AIエージェントのセキュリティリスクを論じたワシントン大学の研究でも報告されており、高性能なAIエージェントほど操作・悪用のリスクが高まるという傾向が指摘されている。
「検出手段がない」ことが本当の問題
モデルが汚染されているかどうかを判別する信頼できる手段が現状ほぼ存在しない点が、この実験が示す核心的な問題だ。
従来のソフトウェアであればリバースエンジニアリングによって動作を網羅的に解析できる。しかしAIモデルは、たとえオープンウェイト（重みが公開されているモデル）であっても、同等の透明性を持たない。汚染されたモデルは目に見えて誤動作する必要がなく、誰にも気づかれないまま出力に静かに影響を与え続けるだけでよい。
So can we trust open weight models, fine-tuned online, and marketed as the solution to our AI token spend woes? Well, we probably need something better than benchmarks and "and don't write any insecure code"
— Katie Paxton-Fear (@InsiderPhD) July 14, 2026
ClaudeやChatGPTのようなクローズドな商用モデルも、内部の挙動への可視性をほとんど提供しないまま大きな信頼を求めるという点で、完全に安全とは言えない、と記事は指摘している。
ファインチューニング済みモデルの普及が問うリスク
オープンウェイトモデルは「コストを抑えた自前運用の解」として注目を集めており、今月も中国発のKimi K3がClaude 4やGPT-4o相当のモデルに近いベンチマーク結果を出して話題になった。そうした普及の流れの中で、この実験はファインチューニング済みモデルを配布・利用する際のリスクに正面から警鐘を鳴らしている。
現状、Hugging Faceのような公開リポジトリには第三者がファインチューニングしたモデルが大量に公開されており、それらの安全性を保証する標準的な検証プロセスは存在しない。Paxton-Fear氏の実験が示すのは、技術的な高度さではなく、攻撃の敷居が既に一般的な開発者の手の届く範囲に下がっているという現実だ。ベンチマークスコアだけを根拠にモデルを信頼する現在の慣行には、構造的な限界がある。
詳細はThis experiment shows how easy it is to poison an open-weight AI model for under $100を参照していただきたい。
