Tag: LLM

System One на входе пайплайна: дешёвый слой разметки между регэкспами и LLM

Модель System One — не замена LLM, а дешёвый классификатор на самом входе конвейера. Один вызов размечает сырую запись, и весь пайплайн дальше читает готовые факты из полей.

Любой пайплайн обработки данных начинается одинаково. На вход валится поток сырых записей, и первое, что нужно сделать, — понять, что это вообще такое. Какой тип, какой формат, какие атрибуты, стоит ли тратить на запись дорогие шаги ниже по течению. Обычно выбирают из двух плохих вариантов: отдать работу большой языковой модели — дорого и медленно на каждой записи, либо зашить в регэкспы и эвристики — дёшево, но хрупко и слепо к смыслу.

Между этими полюсами появился третий вариант — модели класса System One. Я поигрался с одной из них, Jev от TypeSafe, и зафиксировал вывод: самое ценное применение такой модели — не в середине пайплайна, а на самом входе, как слой разметки и обогащения.

Continue reading “System One на входе пайплайна: дешёвый слой разметки между регэкспами и LLM”

Ваш идеальный промпт — это поводок, на котором вы душите модель умнее себя

Длинный жёстко алгоритмизированный промпт не раскрывает возможности LLM, а запирает их в стенках вашего ограниченного разума. Диктуйте контекст, а не способ решения.

Промпт-инжиниринг — это вредный абсурд. Индустрия так долго внушала нам, что для работы с нейросетями нужны особые «заклинания», что мы начали принимать этот костыль за реальную потребность. Мы привыкли думать, что искусственный интеллект — это исполнительный, но туповатый джуниор, которому нужно разжевать каждый чих, иначе он обязательно свернёт не туда. Отсюда рождаются многоэтажные монстры: «представь, что ты гениальный маркетолог с двадцатилетним стажем, напиши текст в три абзаца, используй вот эти слова, не используй те, дыши через раз».

Continue reading “Ваш идеальный промпт — это поводок, на котором вы душите модель умнее себя”