Агент отправил письмо с деталями заказа не тому получателю. Другой сформировал опасный SQL-запрос к боевой базе — потому что «пример команды на удаление» лежал прямо в тексте тикета, который он читал. Третий через RAG подтянул в ответ фрагмент внутреннего документа вместе с секретом и отдал его наружу.
Это типовые сценарии, а не курьёзы. И у них общий нюанс: ни одна модель не «сломалась». Каждая отработала штатно — корректный вызов инструмента, валидный SQL, релевантный фрагмент из базы. Нежелательными оказались последствия, а не поведение модели.
Continue reading “Что творит AI, пока вы отвернулись: что такое Guardrails и Harness”
