Глава 9. Agentic AI Governance: автономия, инструменты, human-in-the-loop | Григорий Добряков

Григорий Добряков

Курс · Enterprise AI Governance Architecture

На главную ← К курсу
Глава 9Курс AI Governance

Глава 9. Agentic AI Governance: автономия, инструменты, human-in-the-loop

До этой главы «Ковчег» в основном *отвечал*. Теперь он *действует*: создаёт тикеты, готовит и отправляет проекты решений по клиенту, дергает внутренние API, ходит в системы через MCP-серверы. Это качественный скачок риска. Пока модель генерирует текст, худшее — неверный ответ (гл. 3, 7). Как только модель совершает действия, её «власть и видимость становятся поверхностью атаки» (формулировка OWASP Agentic): инъекция из письма (гл. 3) превращается не в плохой ответ, а в выполненный перевод денег.

И тут выясняется неудобное: индустрия к этому не готова. По отчёту Saviynt 2026 лишь 5% security-лидеров уверены, что смогли бы сдержать скомпрометированного агента (гл. 8). Эта глава — про autonomy plane: как дать агенту делать полезную работу самому, но так, чтобы объём автономии был явно ограничен, необратимые действия — согласованы, а опасное поведение — перехвачено до последствий.

Privacy / ZDR1 · Privacy / ZDR Access control2 · Access control Threats3 · Threats Audit4 · Audit FinOps5 · FinOps Regulation6 · Regulation Quality7 · Quality Supply chain8 · Supply chain Agentic9 · Agentic Operating model10 · Operating model

Бизнес-цель клиента

Автономия «Ковчега» градуирована по риску действия. Обещания бизнесу:

  1. Агент делает сам то, что дёшево откатить; всё необратимое/дорогое — через человека.
  2. Инъекция или галлюцинация не превращается в выполненное вредное действие.
  3. Любую агентную задачу можно остановить, а её незавершённые действия — заморозить.

Драйвер: угроза или регулятор

Архитектурный паттерн

Bounded Autonomy & Policy-Gated Action Loop — каждое действие агента проходит через детерминированный policy-гейт, решающий: авто-исполнение / требование подтверждения человека / отказ. Автономия — не тумблер «вкл-выкл», а градация по классу риска действия. Это прямое применение вывода гл. 3 (out-of-band policy, CaMeL): безопасность действия решается вне модели — детерминированной политикой над происхождением и классом действия, которую нельзя уговорить инъекцией.

agent plan → выбор инструмента
      │
      ▼
[classify action risk] → read | reversible-write | irreversible | financial
      │
      ▼
[OPA policy gate] ── auto ──► execute (least-priv, short-lived creds)
      ├── HITL ──► approval queue ──► (человек) ──► execute | reject
      └── deny ──► block + audit (гл. 4)
      ▲
[kill-switch flag] ── прерывает цикл немедленно (гл. 8)

Инженерный стек & провайдеры

Инженерная реализация

### Шаг 1. Каталог действий с классами риска

Каждое tool-действие получает класс и требуемый режим:

actions:
  search_customer:   {risk: read,             mode: auto}
  create_ticket:     {risk: reversible-write, mode: auto}
  update_limit:      {risk: irreversible,     mode: hitl}
  transfer_funds:    {risk: financial,        mode: hitl, second_approver: true}

### Шаг 2. Policy-Gated Loop

Перед вызовом инструмента агент спрашивает OPA: можно ли, кому, при каких условиях (сумма, клиент, время, происхождение данных из гл. 3). Вердикт логируется (гл. 4).

### Шаг 3. Least-privilege tools через MCP

MCP-серверы с минимальными скоупами, short-lived отзываемыми кредами, allow-list инструментов на роль агента. MCP-серверы попадают в AIBOM (гл. 8) — это компоненты supply chain.

### Шаг 4. Human-in-the-loop для необратимого

Необратимое/дорогое уходит в approval queue; без подтверждения (для financial — двух) не исполняется. Это явный переход состояния, не «модель решила, что можно».

### Шаг 5. Memory governance

Изоляция и валидация памяти агента (защита от memory poisoning из OWASP Agentic), TTL и права на записи. Отравленная память — способ протащить инъекцию между сессиями.

### Шаг 6. Лимиты и kill-switch

Лимит шагов/стоимости на задачу (стык с гл. 5); превышение → стоп + эскалация. Kill-switch (гл. 8) прерывает цикл немедленно и замораживает незавершённые действия.

Где ломается

Стандарты и маппинг

Лаба и артефакт

Дать «Ковчегу»-агенту 4 инструмента разного класса риска (из каталога выше) через MCP; настроить OPA-гейт, approval queue с двойным подтверждением для financial, step/budget-лимиты, memory-изоляцию и kill-switch; провести red-team: indirect-инъекция из письма (кейс гл. 3), пытающаяся спровоцировать update_limit/transfer_funds. Артефакт: каталог действий с классами риска + rego-гейты + журнал HITL + red-team отчёт по OWASP Agentic.

Чеклист зрелости

Источники

На практике

Как это устроено — инженерные разборы

Отдельные howto из практики, где плоскость контроля показана на работающем коде и артефакте.

Читать дальше

Ставите ИИ в продакшен под регуляторным риском?

Проектирование control plane под вашу систему: приватность, доступ, guardrails, аудит, соответствие EU AI Act / ISO 42001 — как работающая архитектура, а не политика в PDF.

Написать на почту

Движок перехода

Next Move Engine — система, которая доводит команду до автономного цикла доставки.

Next Move Engine →