Любой пайплайн обработки данных начинается одинаково. На вход валится поток сырых записей, и первое, что нужно сделать, — понять, что это вообще такое. Какой тип, какой формат, какие атрибуты, стоит ли тратить на запись дорогие шаги ниже по течению. Обычно выбирают из двух плохих вариантов: отдать работу большой языковой модели — дорого и медленно на каждой записи, либо зашить в регэкспы и эвристики — дёшево, но хрупко и слепо к смыслу.
Между этими полюсами появился третий вариант — модели класса System One. Я поигрался с одной из них, Jev от TypeSafe, и зафиксировал вывод: самое ценное применение такой модели — не в середине пайплайна, а на самом входе, как слой разметки и обогащения.
Continue reading “System One на входе пайплайна: дешёвый слой разметки между регэкспами и LLM”