Есть популярное утверждение: код и скрипты, которые сгенерировала модель, надо обязательно проверять вручную — вычитывать глазами то, что она выдала. Звучит как здравый смысл, как ответственность, как зрелая инженерная культура.
Само по себе это утверждение абсолютно безумно. Оно делает работу с ИИ более медленной и бессмысленной. Зачем тогда вообще нужна модель, если к ней ещё нужно приставить инженера — как рабочего к станку? ИИ придумали, чтобы заменить инженера, а не чтобы замедлить его ещё сильнее.
И дело даже не в скорости. Дело в том, чью ставку вы делаете, когда произносите эту фразу.
Кому выгодно, чтобы внедрение выглядело идиотским
Первыми эту позицию подхватывают луддиты. Те, кто на самом деле никакого внедрения ИИ не хочет — и поэтому делает его максимально идиотским способом, чтобы заказчик махнул рукой и отказался сам. Приставить живого инженера вычитывать каждую строчку генерации — идеальный способ похоронить идею, формально её «внедрив».
Но саботажники — это мелко. Они хотя бы врут осознанно. Настоящая проблема не про исполнителя, а про того, кто над ним, и она не про исполнителя, а про того, кто над ним.
Руководитель, который посадил производство на человека
Руководитель, который акцентирует такой способ работы, полагается на человеческий контроль. Его цикл производства начинает непосредственно зависеть от человеческих ошибок.
Он пускает всю промышленную эволюцию псу под хвост.
На протяжении столетий промышленность стремилась убрать человека из уравнения — или хотя бы сместить его с критической цепи. Любое современное производство — это автоматика и тонкий слой заменяемых людей поверх. Если вы работали в любом конвейерном бизнесе, первое, что вы там видели, — систему регламентов и правил, которая обеспечивает процесс независимо от того, какой конкретно Вася или Петя сегодня стоит у станка.
Это цель прогресса. Любая система, зависящая от человека, ненадёжна.
Профессионалы строят системы, а не назначают дежурных
Профессионалы строят автоматизированные системы контроля, проверки, валидации и тестирования. У этого есть цена вопроса, которую видно на цифрах — без всякого ИИ.
Один продуктовый бизнес до перестройки процессов ловил по 5–10 дефектов в день и выкатывал релизы раз в несколько месяцев. После того как контроль качества, сборку и выкладку поставили на автоматические рельсы — QA/CI/CD, — поток дефектов упал до пяти в неделю, релизы стали еженедельными, а выручка выросла на 50%. Надёжность дал не гениальный тестировщик, который «всё держит в голове». Её дала система, которой всё равно, у кого сегодня плохой день.
С ИИ логика та же, только слоёв контроля больше:
- Guardrails — правила, реализованные машинно, а не декларативно. Не инструкция «инженер должен помнить и проверить глазами», а технический контур, который нельзя обойти. Независимый Guardian с правом вето.
- Eval-harness как release-gate — три слоя проверок, которые пускают изменение дальше только если оно прошло, вместо demo-grade одобрения «вроде работает».
Сбой ИИ выглядит не как красная ошибка в консоли. Он выглядит как уверенный, гладкий, опасный текст. Человек, вычитывающий генерацию глазами, ловит именно то, что заметить труднее всего, — и ловит на усталости, на десятой странице, в пятницу вечером. Система ловит это одинаково в любой день недели.
Примеры таких систем расписаны в открытых статьях — берите и делайте:
- guardrails — https://www.dobryakov.com/blog/2282/
- ревью ИИшного кода — https://www.dobryakov.com/blog/2262/
- eval-harness — https://www.dobryakov.com/blog/2246/
- kafka two-phase commit — https://www.dobryakov.com/howto/kafka-two-phase-commit.html
Вася заболеет, Петя спит с женой Васи, у Тани сегодня не тот день
Когда руководитель говорит, что он полагается в своей критической цепи на конкретного Васю — который завтра заболеет. Или на конкретного Петю — который спит с женой Васи. Или на конкретную Таню, Машу, Свету, у каждой из которых сегодня может быть неудачный день. — я вижу руководителя, который не умеет строить надёжные оргструктуры и системы.
Ручная вычитка ИИшного кода глазами — не «инженерная зрелость». Это ставка на человека в критической цепи, оформленная как добродетель. Ставка проигрышная по определению, потому что ровно от неё производство и уходило последние двести лет.
Такой руководитель будет неизбежно проигрывать тем, кто умеет строить системы.
Беги
Как бы вам ни льстило, что в вашей конторе вам доверяют такое важное дело — вычитывать ИИшный код глазами, — бегите. Через год вас снесёт конкурент, у которого контроль поставлен на автоматические рельсы, а не на Васю с его удачным днём.