Jev против моделей генерации текста
Jev не генерирует свободный текст. Сравнительное видео показывает различие между параллельным принятием решений и генерацией текста по токенам.
Jev Engineering: разделение рассуждения и принятия решений для скорости и экономии
Описывает, как Jev Engineering разделяет рассуждение и принятие решений, выводит дорогую модель из каждого цикла решений и направляет запросы через самую дешёвую подходящую модель — до 193x быстрее и 444x дешевле в тестах.
Jev Engineering separates reasoning from decision-making, moves the expensive model out of every decision loop and routes requests through the cheapest capable model instead, running up to 193x faster and 444x cheaper in tests.
· 46 likesOpen on X
More like this
Цены, оценки и происхождение названия Jev
Тред запуска объясняет оценки рабочих процессов code + AI, объявленную цену входных токенов и бесплатные выходные токены.
Модель Jev: генерация вероятностей для принятия решений, в 200 раз быстрее и в 400 раз дешевле LLM
Эта модель создана для принятия решений, а не генерации текста: она выдаёт вероятности для каждого варианта параллельно, а не ответ токен за токеном. Автор приводит упрощённый пример сравнения обычных LLM с этой моделью Jev.
