Category: AI Governance

AI Quality, Drift & Fairness: как модель не деградирует после апдейта и не дискриминирует при скоринге

Тихая деградация — самый частый способ потерять качество ИИ-системы без единого деплоя. Continuous evaluation, LLM-as-judge и fairness-тесты как гейт релиза.

Провайдер незаметно обновил базовую модель. Формально API тот же, версия — та же строка, но поведение сместилось: «Ковчег» стал чуть чаще выдумывать условия, которых нет в документах, и чуть строже относиться к заявкам из одного региона. Никто ничего не менял в коде. Через месяц это всплывает как рост жалоб и вопрос от комплаенс: «Почему одобрений по региону N стало меньше?» Так выглядит тихая деградация — самый частый способ, которым качество ИИ-системы уходит без единого деплоя.

Continue reading “AI Quality, Drift & Fairness: как модель не деградирует после апдейта и не дискриминирует при скоринге”

Zero Data Retention и приватность: как не слить ПДн клиентов в LLM

Маскирование и ZDR на пути каждого вызова модели — инженерный разбор data plane под GDPR и банковскую тайну.

Сотрудник банка вставляет в ИИ-ассистента выписку клиента, чтобы подготовить ответ на претензию. В выписке — ФИО, паспорт, IBAN, адрес, суммы операций. Ассистент вызывает облачную модель. С этого момента персональные данные клиента физически покинули периметр и лежат в инфраструктуре провайдера: минимум в оперативной обработке, а по умолчанию ещё и в логах abuse-мониторинга на 30 дней. Клиент об этом не знает и согласия на трансфер не давал.

Continue reading “Zero Data Retention и приватность: как не слить ПДн клиентов в LLM”

Соответствие EU AI Act — это пайплайн, а не PDF

Регуляторика становится кодом: как превратить статьи AI Act и контроли ISO 42001 в автоматизированные гейты CI/CD, а доказательства — в автогенерируемые артефакты.

Кредитный модуль платформы «Ковчег» готовит проекты решений по заявкам клиентов. По EU AI Act это не «ассистент», а high-risk AI system: оценка кредитоспособности физлиц прямо поименована в Annex III. Это переводит систему в другой юридический класс с обязательной системой управления рисками, технической документацией, логами, human oversight и регистрацией. Параллельно текстовый ассистент, генерирующий ответы клиентам, попадает под Article 50 — прозрачность ИИ-сгенерированного контента. Одна система, два разных набора обязательств.

Соответствие, собираемое вручную к дате аудита, — это театр. Соответствие, генерируемое пайплайном из живых плоскостей системы, — это доказательство. Инженерная задача — превратить регуляторные требования из PDF-политики в автоматизированные гейты и артефакты.

Continue reading “Соответствие EU AI Act — это пайплайн, а не PDF”

FinOps и Resilience: как не дать ИИ разорить прод и уронить систему

Шлюз с бюджетами, семантическим кэшем и fallback — инженерный разбор того, как держать стоимость и доступность ИИ под контролем.

Команда B2B-SaaS включила семантический кэш с порогом сходства 0.88 и глобальным namespace, чтобы экономить на токенах. В один момент кэш вернул сессии клиента Tier-3 закэшированную сводку об отмене подписки клиента Tier-1. Два разных запроса оказались «достаточно похожи» по эмбеддингу — и оптимизация затрат превратилась в утечку между тенантами. Команда откатилась на точное кэширование.

Continue reading “FinOps и Resilience: как не дать ИИ разорить прод и уронить систему”

Аудит и воспроизводимость решений ИИ: как доказать регулятору, что произошло

Неизменяемый трейс каждого вызова модели — единственное доказательство для регулятора. Архитектура audit plane на OpenTelemetry.

Через полгода после запуска в «Ковчег» приходит запрос от регулятора: клиент обжалует отказ по кредиту, датированный 12 мая. Вопрос простой и убийственный: «Почему ИИ рекомендовал отказать?» Если у вас нет ответа — не «модель так решила», а восстановимая цепочка: какой был системный промпт, какие данные клиента подтянулись, какая версия модели отвечала, какие guardrails и политики сработали, — то high-risk-система недоказуема, а значит несоответствна.

Continue reading “Аудит и воспроизводимость решений ИИ: как доказать регулятору, что произошло”

Agentic AI Governance: как дать агенту автономию и не пустить инъекцию в банковский перевод

Автономия агента — не тумблер, а градация по риску. Архитектура policy-gated action loop, HITL для необратимого и kill-switch как штатный режим.

Пока модель генерирует текст, худшее, что может случиться — неверный ответ. Как только модель начинает действовать, её власть и видимость становятся поверхностью атаки. Инъекция из письма превращается не в плохой ответ, а в выполненный перевод денег.

Continue reading “Agentic AI Governance: как дать агенту автономию и не пустить инъекцию в банковский перевод”