Строка "model": "meta-llama/llama-3-70b-instruct" выглядит как точка, в которой инженерные решения заканчиваются. Выбрал модель — дальше дело провайдера. На практике это начало ветвления, о котором интеграция не знает: один и тот же идентификатор модели в разные секунды уходит на разные инфраструктуры, с разной точностью весов, разной задержкой и разной политикой хранения данных. Модель формально одна, поведение — нет.
Единый API OpenRouter: скрытая механика маршрутизации и как вернуть над ней контроль
Дефолтный балансировщик OpenRouter выбирает провайдера по цене и аптайму — и для enterprise это значит квантование весов, тихие сбои и утечку данных. Контракт в payload возвращает контроль.