Создание классификатора кодовой базы с помощью Jev
Разработчик делится созданием классификатора кодовой базы с помощью Jev, предполагая, что это может решить проблему переусложнённого кода от агентов, и спрашивает, что тестировать дальше.
Jev использовался для выбора модели AGI, обеспечивая в 20–200 раз большую скорость и в 40–400 раз меньшую стоимость, делая LLM-as-a-judge чрезвычайно быстрым и почти бесплатным.
Jev has spoken. It picked which model is AGI. 20–200x faster. 40–400x cheaper. This could make things like LLM-as-a-judge insanely fast and nearly free. (I tried a bunch of prompts and still didn’t burn through $0.10.)