Глава 8. AI Supply Chain Security & Shadow AI: компоненты и kill-switch

Бизнес-цель клиента

Знать, из чего собрана AI-система, не пускать в неё непроверенное, не давать данным утекать в Shadow AI и уметь мгновенно остановить агента. Обещания бизнесу:

1. Каждый компонент (веса, датасет, промпт, библиотека) — в реестре и проверен.
2. Корпоративные данные не уходят на неавторизованные AI-эндпоинты.
3. Любого агента можно остановить и откатить в безопасное состояние — и это протестировано.

Драйвер: угроза или регулятор

• OWASP LLM: LLM03 (Supply Chain), LLM04 (Data & Model Poisoning), LLM06 (Excessive Agency).
• Malicious weights: pickle/чекпойнт с исполняемым кодом → RCE при загрузке.
• Shadow AI: по оценкам 2026, ~78% сотрудников используют неавторизованные ИИ-инструменты; Shadow AI-агенты и неуправляемые машинные идентичности — растущий вектор (проблема «144:1» машинных к человеческим идентичностям).
• Неостановимый агент: AI Act (Art. 14) требует human oversight — включая возможность вмешаться и остановить.

Архитектурный паттерн

AI Circuit Breaker & Kill-Switch Architecture — реестр компонентов (AIBOM) + сканирование + контроль периметра + многослойный механизм остановки. Kill-switch — не одна кнопка, а слоистый набор детерминированных контролей: прервать сессию, отозвать креды и доступ к инструментам, откатить в безопасное состояние.

Инженерный стек & провайдеры

• AIBOM: CycloneDX ML-BOM (стандарт ECMA-424, 2-е изд., дек 2025; типы компонентов: model, llm_endpoint, agent, mcp_server, tool, embedding, vector_store, dataset, retriever…); Syft/Grype, Cisco AIBOM.
• Model scanning: ModelScan, picklescan; предпочтение Safetensors (не исполняет код при загрузке; с апреля 2026 — под PyTorch Foundation/Linux Foundation).
• Периметр/Shadow AI: next-gen CASB/SWG (Netskope, Zscaler) с блоком неавторизованных AI-эндпоинтов.
• Self-host / контроль: OpenLLM / vLLM; OPA + feature-flags для kill-switch.

Инженерная реализация

### Шаг 1. AIBOM в CI

Автогенерация ML-BOM (CycloneDX): что, откуда, версия, лицензия, хэш — для весов, датасетов, системных промптов, библиотек, а также агентов, MCP-серверов и vector store. Ручной реестр устаревает — только генерация в пайплайне.

### Шаг 2. Сканирование весов перед деплоем

model artifact → ModelScan/picklescan → [код внутри?] ─да→ block + alert
                                              │нет
                       prefer safetensors ────┴→ verify hash/provenance → deploy

### Шаг 3. Блокировка Shadow AI

CASB/SWG обнаруживает и блокирует отправку корпоративного трафика на неавторизованные внешние AI-эндпоинты. Санкционированный gateway (гл. 5) — единственный легальный путь к моделям. Важно: запрет без удобной легальной альтернативы порождает Shadow AI (см. гл. 10, over- governance).

### Шаг 4. AI Kill-Switch как внешнее состояние

Kill-switch реализован как state machine, а не «if» в коде: флаг в policy engine / feature-flag, который все сервисы и агенты обязаны проверять перед действием. Слои:

1. прервать текущую сессию/цикл агента;
2. отозвать short-lived креды и доступ к инструментам (MCP-скоупы, API-ключи);
3. откатить в безопасное состояние (заморозить незавершённые действия — гл. 9).

### Шаг 5. Least privilege для агентов

Инструменты агента — с минимальными скоупами, short-lived, отзываемые креды, sandbox (детали — гл. 9).

Где ломается

• Kill-switch без учений не срабатывает. Непротестированный «стоп» в момент инцидента не работает — отсюда и 5% уверенных. Регулярные chaos-drill остановки агента обязательны.
• Распределённые агенты. Остановить рой сложнее одного процесса; нужна централизованная точка отзыва — но она же единая точка отказа. Баланс с гл. 5.
• AIBOM устаревает без автогенерации в CI — расходится с реальностью деплоя.
• CASB обходят. Личные устройства/сети вне периметра; полный контроль недостижим — снижаем, не обнуляем.
• Poisoning скрыт. Сканер ловит исполняемый код, но не «логическую» отравленность датасета (backdoor-триггеры в данных) — это уже задача eval/red-team (гл. 3, 7).
• Safetensors не панацея. Он убирает RCE при загрузке, но не гарантирует «чистоту» самих весов (поведенческие бэкдоры остаются).

Стандарты и маппинг

• OWASP LLM: LLM03, LLM04, LLM06.
• ISO/IEC 42001: управление поставщиками, изменениями, инцидентами.
• NIST AI RMF: Manage (third-party, incident response).
• EU AI Act: Art. 14 (oversight, kill-switch как часть), Art. 15 (cybersecurity/robustness).
• CycloneDX / ECMA-424: формат AIBOM.

Лаба и артефакт

Сгенерировать CycloneDX ML-BOM для «Ковчега» (включая vector store и MCP-серверы); прогнать веса через ModelScan, показать блок на pickle-бэкдоре и переход на safetensors; настроить kill-switch как policy-флаг и провести учение остановки агентной ветки с отзывом кредов; сымитировать Shadow AI-эндпоинт и блок CASB. Артефакт: AIBOM + отчёт скана + протокол теста kill-switch (доказательство oversight для гл. 6, 10).

Чеклист зрелости

• L1: список моделей/зависимостей, ручной скан весов.
• L2: AIBOM (CycloneDX) в CI, автоскан, CASB-блок Shadow AI, kill-switch существует.
• L3: регулярные учения kill-switch, least-privilege агентов, provenance/hash-проверка весов, incident runbook, safetensors по умолчанию.

Источники

• [Machine Learning Bill of Materials (CycloneDX)](https://cyclonedx.org/capabilities/mlbom/)
• [Malicious Hugging Face models with silent backdoor (JFrog)](https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/)
• [AI Agent Kill Switches: can you actually stop one in 2026?](https://nerdleveltech.com/ai-agent-kill-switch-containment)
• [Shadow AI Agents: the insider threat (Cloud Security Alliance)](https://cloudsecurityalliance.org/blog/2026/05/26/shadow-ai-agents-the-insider-threat-you-re-not-monitoring-yet)
• [SafeTensors format guide (DataCamp)](https://www.datacamp.com/blog/safetensors-format)

Как это устроено — инженерные разборы

Отдельные howto из практики, где плоскость контроля показана на работающем коде и артефакте.

• Enterprise-бастион для кода: Claude работает над проектом без доступа к файлам и шеллуLeast-privilege и sandbox: агент работает без доступа к файлам и шеллу.
• Скилл, который онбордит другие скиллыОнбординг новых компонентов по правилам, с песочницей.

Читать дальше

• Дальше: Agentic — Автономия агента ограничена по классу риска действия
• Все главы курса →
• Подключить эксперта как MCP →