デモは終わり、本番が始まる――AIを“運用できる組織”だけが勝ち残る時代です

今日の深掘りポイント

• 目を奪うデモは評価の出発点にすぎず、勝敗は「本番のデータ」と「運用体制」が決めます。
• つまずきの大半はモデルそのものではなく、データ可観測性・品管・変更管理・人の責任分界にあります。
• セキュリティはMLOpsの外野ではなく中核です。供給網、データ汚染、権限境界、ログの取り扱いは全て攻撃面になります。
• 成熟指標はKPIではなくSLOです。幻覚抑止率、根拠提示率、セーフガード回避検出率を本番で継続計測する仕掛けが鍵です。
• 短期は“壊れない基礎”を、半年〜1年は“継続的評価の自動化”と“モデル供給網管理”に投資配分を見直すべきです。

はじめに

AIは「作れるか」から「運用できるか」へと問いが変わりました。華やかなデモが乱立した第一幕は幕引きに向かい、今は本番データの厳しさに耐える第二幕に入っています。失敗の主要因はインフラや人材不足に集約されがちですが、掘り下げると「データの現実」と「運用の現実」に十分に向き合えていないことが本質です。特に、データ収集から品質保証、モデル評価の自動化、本番監視、変更管理、責任分界、規制・契約の遵守までを一貫させる組織的実装が未成熟なまま打席に立つと、高確率で空振りします。

今回の話題は目新しさよりも“すぐ動かせる実務知見”の重みが勝り、各社が短期行動に移しやすいタイミングに差し掛かっています。読者の皆さんにとっては、MLOpsとSecOpsをどう繋ぐかが勝負どころです。

参考: 本番化のボトルネックとして「データ問題」を正面から論じる一次情報は、現場の課題認識に近いです。詳しくはThe New Stack: The AI Production Data Problemを参照ください。

深掘り詳細

事実整理（いま本番で起きていること）

• データが“唯一の真実”ではない問題
  • 社内外のソースが混在し、ライセンス、個人情報、機密、鮮度、根拠の追跡可能性が揺らぎます。RAGの文脈混入やトレーニング・微調整の逸脱が品質と法務の同時リスクにつながります。
• オフライン評価と本番挙動の乖離
  • 静的ベンチマークは安心感を与えますが、実利用の分布外入力、長期ドリフト、季節性、対話履歴の蓄積効果などで成績は容易に崩れます。評価は一度きりではなく「常時」です。
• 運用の“人と手続き”が詰まる
  • プロンプト・ツール・ナレッジベース・モデルのいずれもが頻繁に更新されます。誰が、何を、どこまで検証して、どうロールバックするのかのRACIが曖昧だと、事故後の事実確定も遅れます。
• セキュリティはデータ面でも供給網面でも広がる
  • モデル、ウェイト、推論エンジン、依存パッケージ、外部API、ナレッジ文書、評価用データセット——あらゆる供給点が侵入経路になりえます。プロンプトや出力、ツール呼び出しのログも機微データの“新たな保管庫”になります。

上記は、デモ段階では見えにくく、本番に出した瞬間に牙をむくポイントです。一次情報でも、鍵はデータの可観測性・品質管理・継続評価であることが繰り返し示唆されています（参考: The New Stack）。

編集部の視点（仮説と示唆）

• 仮説1: 生成AI時代の“可用性”はSLOの再定義から始まります
  • 伝統的SREの可用性は稼働率でしたが、生成AIは「正当性」「根拠性」「安全性」も可用性の一部として扱うべきです。具体的には、根拠提示率、ハルシネーション抑止率、ポリシーバイパス検出率、ツール呼び出しの成功率をSLIとして継続計測する必要があると考えます。
• 仮説2: “モデル中心”から“ドキュメント中心”の防御運用へ
  • 実害はモデル内部よりも、知識ベースや外部コンテキストに潜むことが多いです。文書取り込み前のサニタイズ、メタデータ付与、署名・改ざん検出、リスクタグ付け（公開可、社外秘、個人データ含む等）といった“文書のDevSecOps”が先行指標になります。
• 仮説3: セキュリティ事故と品質事故は一本化して扱うべきです
  • プロンプト注入でツールが誤作動すれば、品質事故とインシデントが同時発生します。AI特有の事象（データ汚染、評価逃れ、幻覚）の重大度判定とエスカレーションルートを、従来のCSIRT/SRE運用に統合するのが現実解です。
• 仮説4: “実験→本番”ではなく“恒常的カナリア本番”が最短距離です
  • 小規模カナリアを常設し、評価セットと実流量の双方で品質SLOを監視し続ける構造が、規制対応（監査証跡）と事故抑止（早期検知）を同時に満たします。

本番で詰まる4つのボトルネック（現場チェックリスト）

• データ可観測性
  • 系統（lineage）、権利（license/consent）、鮮度（staleness）、機微（PII/機密）、出所（provenance）のダッシュボード化ができているかどうかです。
• 継続評価（オフライン/オンライン）
  • 回答の正当性・安全性・根拠性の評価セットをバージョン管理し、AB/カナリアで本番SLIと相関づけられているかどうかです。
• 変更管理
  • モデル、プロンプト、ナレッジ、ツール、ポリシーを“コードとして”PRレビューし、ロールバック可能にしているかどうかです。
• 供給網と法務
  • モデルSBOM、ウェイトの検証、依存パッケージの脆弱性、ベンダーのデータ使用条項、ログ保管と越境データ移転の管理が機能しているかどうかです。

脅威シナリオと影響

本件は純粋な脅威ニュースではありませんが、本番AIが直面する攻撃面は明確です。以下は仮説ベースのシナリオで、MITRE ATT&CK/ATLASの観点に沿って整理します。

• シナリオ1: ナレッジベース経由のプロンプト注入
  • 経路: 社内ポータルや共有ドライブに混入した悪性文書がRAGに取り込まれ、隠し指示でガードレールを回避します。
  • ATT&CK観点: 供給網の妥協（Supply Chain Compromise）、保管データ改ざん（Stored Data Manipulation）、有効アカウントの悪用（Valid Accounts）に相当します。
  • 影響: 不正なツール操作、機密漏えい、誤出力の大量拡散、法令違反です。
• シナリオ2: モデル/依存コンポーネントのサプライチェーン攻撃
  • 経路: 外部モデル、ウェイト、推論ランタイム、依存パッケージの更新に悪性コードが紛れます。
  • ATT&CK観点: サプライチェーン妥協、実行環境の権限昇格、情報隠蔽に該当します。
  • 影響: 推論基盤の乗っ取り、データ外送、改ざん出力で意思決定が誘導されます。
• シナリオ3: ログ/テレメトリからのデータ外送
  • 経路: プロンプト、出力、ツール呼び出し、スクリーンショットのテレメトリにPIIや機密が含まれ、第三者に送信されます。
  • ATT&CK観点: 情報リポジトリからのデータ取得、Webサービス経由の外送です。
  • 影響: 規制違反、競争上の機密流出、長期的なブランド毀損です。
• シナリオ4: ツール実行エージェントの濫用
  • 経路: プロンプト注入でエージェントが内部APIやSaaSに過剰権限でアクセスします。
  • ATT&CK観点: 権限昇格、横展開、認証情報窃取に繋がります。
  • 影響: 誤操作による業務停止、請求爆発、データ破壊です。

緩和の方向性は一貫しています。入力（文書・プロンプト）と出力（回答・ツール呼び出し）に対するポリシー内挿機構、データとモデルの署名・検証、最小権限・ツール許可リスト、常時の挙動評価とシャットダウンスイッチを“設計に内蔵する”ことが決め手です。

セキュリティ担当者のアクション

• リスクベースのユースケース棚卸し
  • 生成/要約/検索支援/自動実行の4象限でユースケースを分類し、データ機微、ツール権限、規制適用の観点でレベル分けします。高リスクは“人間の最終承認必須”を原則にします。
• データ・モデル供給網の可視化
  • データセット、ナレッジ文書、モデル/ウェイト、推論ランタイム、依存パッケージの在庫表と由来（provenance）を整備し、モデルSBOM/データSBOMを運用します。取り込み前のライセンス・PII・マルウェア検査と署名検証を標準手順化します。
• 継続評価の内製化と自動化
  • 正当性・安全性・根拠性の評価セットをバージョン管理し、回帰テストをCI/CDに組み込みます。カナリア本番を常設し、幻覚抑止率やポリシー回避検出率などのSLIを継続監視します。
• 変更管理とロールバックの徹底
  • モデル、プロンプト、ナレッジ、ツール、ポリシーを“コード化”し、PRレビュー、署名付きデプロイ、段階的リリース、ワンクリック・キルスイッチを標準装備します。
• アクセス制御と実行境界
  • エージェントやツールはワークロードIDで認証し、最小権限・時間制限・ネットワーク分離を徹底します。機微操作は明示的許可と人間の確認を必須にします。
• ログ/テレメトリの安全設計
  • プロンプト・出力・コンテキストのロギング方針を定め、機微マスキング、保持期間、暗号化、越境移転管理を明文化します。第三者サービス送信前のDLP/PII検査を挟みます。
• ベンダー管理と契約条項
  • 学習再利用の可否、派生モデルの権利、データ削除要請への応答、インシデント通知SLA、監査権限を契約で明確化します。
• 事故対応の統合演習
  • 「プロンプト注入で誤作動」「ログから機密漏えい」「外部モデル更新でサービス障害」の3シナリオで机上演習を実施し、CSIRT/SRE/法務/広報の連携を磨きます。

最後に。AIの本番化は技術の問題に見えて、実は“組織が真に向き合えるか”の問いでもあります。デモの魔力が弱まった今、現場の地味な作業に投資できる企業だけが、静かな強さを手に入れます。安全に、確実に、そして誇りを持って運用していきましょう。

参考情報

• The AI Production Data Problem (The New Stack)