Команда B2B-SaaS включила семантический кэш с порогом сходства 0.88 и глобальным namespace, чтобы экономить на токенах. В один момент кэш вернул сессии клиента Tier-3 закэшированную сводку об отмене подписки клиента Tier-1. Два разных запроса оказались «достаточно похожи» по эмбеддингу — и оптимизация затрат превратилась в утечку между тенантами. Команда откатилась на точное кэширование.
Эта история — не про кривую настройку. Это про то, что плоскость cost/resilience нельзя строить в отрыве от базовой архитектуры доступа. Оптимизация, которая экономит деньги ценой утечки чужих данных, — не экономия, а инцидент. Задача этой главы — собрать инженерный контур, который исключает неконтролируемый рост расходов на токены, защищает от вычерпания лимитов API и держит SLA 99.9%+, не жертвуя приватностью и не создавая новых точек отказа.
Протагонист здесь — платформенный инженер, отвечающий за стоимость и доступность. Не дата-саентист, не продакт-менеджер. Человек, который держит счёт за токены и SLA одновременно.
Бизнес-цель: что обещают продакшену
Для B2B-SaaS три отказа звучат по-разному, но бьют одинаково:
- Расходы предсказуемы и ограничены — по отделам, пользователям, агентам. Неконтролируемый агент не должен выписать шестизначный счёт за ночь.
- Отказ или троттлинг одного провайдера не роняет систему — fallback и circuit breaker держат нагрузку.
- Оптимизации не пересекают границы доступа и качества — кэш не сдаёт чужие данные, fallback не роняет качество молча.
Если хотя бы одно из трёх не выполнено, ИИ в проде — это финансовая и репутационная мина.
Драйверы: угрозы и регуляторы
- OWASP LLM10 (Unbounded Consumption) — стоимость и DoS через дорогие запросы. Нет лимитов — один злой или просто неосторожный вызов кладёт бюджет.
- Vendor outage / lock — единственный провайдер, единая точка отказа. Когда OpenAI или Anthropic лежат, ваш продукт лежит вместе с ними.
- Rate limits 429 — пик вычерпывает квоту, «ассистент лежит» в час пик.
- Cross-tenant leak через кэш — оптимизация как источник инцидента приватности. Тот самый кейс из вступления.
Архитектурный паттерн: Multi-Provider AI Gateway
Единый шлюз перед всеми провайдерами, с семантическим кэшем, бюджетами, fallback и circuit breaker. Тот же слой, что несёт приватность (гл. 1), guardrails (гл. 3) и трейсинг (гл. 4). Плоскости не плодят отдельные прокси — они живут в одном gateway. Обход шлюза = дыра в приватности, дыра в бюджетах, дыра в трейсинге. Одно правило: все вызовы моделей — через один слой.
Инженерный стек
- AI Gateway: LiteLLM Proxy (
redis-semantic/qdrant-semanticкэш), Portkey, Kong AI Gateway (semantic cache plugin), Cloudflare AI Gateway, TrueFoundry. - Кэш и лимиты: Redis — semantic cache, rate limit, budget counters. GPTCache как альтернатива.
- Устойчивость: Envoy (circuit breaking), ретраи с backoff.
- Наблюдаемость: Prometheus + Grafana.
Выбор шлюза — не вопрос вкуса. LiteLLM даёт semantic cache поверх Redis и Qdrant из коробки. Portkey — собственную реализацию. Kong — плагин. Cloudflare — управляемый сервис. Все сводятся к одному: единая точка контроля перед провайдерами.
Шаг 1. Единый gateway
Все вызовы моделей — через один слой. Без исключений. Каждое исключение — это вызов, за который вы платите, но не видите, не лимитируете и не трейсите. Это же требование из гл. 1: обход шлюза = дыра в приватности. Здесь добавляется ещё одно — обход шлюза = дыра в бюджете.
Шаг 2. Semantic Caching с изоляцией по тенанту
Эмбеддинг промпта → поиск по косинусному сходству в Redis. При попадании выше порога — ответ без вызова LLM. Экономия реальная: на проде semantic cache покрывает 20–45% трафика. Материальная экономия — если не ломает изоляцию.
Уроки из кейса вступления, зашитые в конфиг:
semantic_cache:
similarity_threshold: 0.97 # выше типового 0.88 — меньше ложных попаданий
namespace: "{tenant_id}:{model}" # model-level + tenant isolation, не глобальный
skip_if: ["contains_pii", "personalized"] # приватное не кэшируем (гл. 1–2)
per_request_threshold_override: trueТри решения в этом конфиге — не настройки, а выводы из инцидента:
- Порог 0.97 вместо 0.88. Типовой порог 0.88 ловит «похожие» запросы, которые семантически разные. 0.97 отсекает ложные попадания. Для критичных ответов — только exact cache, никакого семантического.
- Namespace по тенанту и модели. Глобальный namespace — это кэш, в который один клиент может получить ответ другого.
tenant_id:model— изоляция на уровне ключа. - Skip для PII и персонализированного. Приватное не кэшируем вообще. Это не опция, не оптимизация — это требование из гл. 1–2.
Кэшируем только неперсональное и непривилегированное. Всё остальное — мимо кэша, напрямую в модель.
Шаг 3. Multi-Tenant Budgeting
Жёсткие лимиты по токенам и стоимости в разрезе отделов и пользователей. Soft-alert → hard-stop. Лимит не «рекомендация», а стена: при достижении hard-stop вызовы блокируются, не отправляются к провайдеру.
Для агентов (гл. 9) — лимит на шаги и стоимость одной задачи. Агент, который крутится в цикле без лимита, — это шестизначный счёт за ночь. Лимит на задачу — единственный способ остановить его до того, как счёт придёт.
Шаг 4. Fallback и Circuit Breaker
Авто-переключение при росте latency или ошибках 5xx/429. Деградация на резервного провайдера или локальную модель. Ретраи с backoff — не долбим провайдера в отказ, а ждём и повторяем с нарастающим интервалом.
Circuit breaker размыкает цепь к сбойному провайдеру. Не «попробуем ещё раз», а «хватит — переключаемся». Порог размыкания калибруется на реальных latency-профилях, не на догадках. Агрессивный порог рубит легитимный трафик; мягкий — не спасает от каскадного отказа.
Шаг 5. Наблюдаемость затрат
Cost per request, per tenant, per feature — в Grafana. Аномалия расходов → алерт. Ночной агент, съедающий бюджет, ловится здесь — не в конце месяца, когда счёт уже пришёл, а в момент, когда он начинает тратить.
Где ломается
| Отказ | Механика | Защита |
|---|---|---|
| Semantic cache отдаёт «почти то же» | Близкие по эмбеддингу, но семантически разные запросы → неверный ответ. В регулируемом ответе (ставка, условие договора) — опасно. | Высокий порог + осторожный скоуп. Для критичного — только exact cache. |
| Кэш и приватность | Закэшированный ответ с чужими данными = утечка (кейс вступления). | Namespace по тенанту и skip для персонального — обязательны. |
| Fallback меняет поведение | Другой провайдер = другое качество и формат ответа. | Guardrails (гл. 3) и evals (гл. 7) должны покрывать всех провайдеров. |
| Circuit breaker вслепую | Агрессивный порог рубит легитимный трафик. | Калибровать на реальных latency-профилях. |
| Кэш маскирует дрейф | 40% ответов из кэша → деградацию свежих ответов замечаешь позже. | Мониторить качество свежих ответов отдельно (гл. 7). |
Каждая строка — это не гипотетический риск, а конкретный режим отказа, который встречается на проде. Кэш маскирует дрейф — отдельная проблема: если 40% ответов приходят из кэша, а свежие ответы деградировали, вы узнаёте об этом с опозданием. Деградация скрыта за быстрыми и дешёвыми ответами из кэша.
Стандарты и маппинг
- OWASP LLM: LLM10 (Unbounded Consumption) — прямое соответствие: бюджетирование и лимиты.
- ISO/IEC 42001: управление ресурсами, доступность, непрерывность.
- NIST AI RMF: Manage — resilience.
- EU AI Act: Art. 15 — robustness и непрерывность для high-risk систем.
Лаба и артефакт
Развернуть LiteLLM или Portkey перед «Ковчегом»: semantic cache с namespace по тенанту и порогом 0.97, skip для PII, бюджеты по отделам, fallback на резервного провайдера. Воспроизвести кейс вступления (глобальный namespace + 0.88) и показать утечку, затем починить конфигом. Сымитировать 429 и 5xx — проверить деградацию и circuit breaker.
Артефакт: gateway-конфиг + Grafana-дашборд cost/latency + budget-политики + отчёт «cache hit-rate vs cross-tenant safety».
Чеклист зрелости
- L1: единый gateway, базовые лимиты, exact cache.
- L2: semantic cache с изоляцией по тенанту и skip для приватного, бюджеты по tenant, fallback между провайдерами.
- L3: circuit breaker, cost-аномалии в алертах, evals по всем провайдерам, per-request threshold, SLA-мониторинг.
Источники
- Semantic caching thresholds and why they matter (Portkey)
- Top semantic caching solutions 2026 (Maxim)
- LLM caching strategies (NeuralTrust)
- LLM Gateway guide 2026
Платформенный инженер строит единый gateway: бюджеты ограничивают стоимость, кэш с tenant namespace не отдаёт чужие данные, fallback и circuit breaker держат SLA. Уберите любую из трёх частей — и вы узнаете, чего стоило упущение, в момент, когда исправлять будет поздно.