Jev превосходит Gemini 2.5 Flash Lite по качеству и скорости в оценке классификатора
Malte Ubl прогнал Jev от TypeSafe AI на существующей оценке классификатора: он насытил оценку по качеству и оказался в 6 раз быстрее Gemini 2.5 Flash Lite.
Автор протестировал Jev для мониторинга CoT на 2200 трассах мыслей, сообщив, что он превосходит Sonnet 5 в классификации и работает в 3,7 раза быстрее Luna и в 6 раз быстрее Sonnet.
I ran Jev against Claude and ChatGPT for CoT Monitoring on 2,200 thought traces. It beat Sonnet 5 at classification, but the main selling point is the speed, classifying 3.7x faster than Luna and 6x faster than Sonnet! 🧵