Команда B2B-SaaS включила семантический кэш с порогом сходства 0.88 и глобальным namespace, чтобы экономить на токенах. В один момент кэш вернул сессии клиента Tier-3 закэшированную сводку об отмене подписки клиента Tier-1. Два разных запроса оказались «достаточно похожи» по эмбеддингу — и оптимизация затрат превратилась в утечку между тенантами. Команда откатилась на точное кэширование.
Continue reading “FinOps и Resilience: как не дать ИИ разорить прод и уронить систему”