Einen Codebase-Klassifikator mit Jev erstellen
Ein Entwickler teilt den Bau eines Codebase-Klassifikators mit Jev, der überentwickelten Code von Agenten lösen könnte, und fragt, was als Nächstes getestet werden soll.
Jev ist gut bei Zero-Shot-Klassifikation, aber spezialisierte Klassifikatoren dominieren kommerzielle Anwendungsfälle
Josh stellt fest, dass Jev bei Zero-Shot-Klassifikation gut abschneidet, aber spezialisierte Klassifikatoren in kommerziellen Umgebungen vorteilhafter sind. Er erwähnt, dass @trycua ein winziges Modell abgestimmt hat, das 99,7% bei der Formularausfüllungs-Evaluierung erreichte, während gehostetes Jev 83,6% erzielte, und teilt seine Erfahrung, GLiNER 2.5 in 51 Minuten abgestimmt zu haben.
Jev is great at zero-shot classification, but specialist classifiers will dominate commercial use cases. @trycua tuned a tiny model that scored 99.7% on their form-filling eval. Hosted Jev scored 83.6%. I tuned GLiNER 2.5 on a task in 51 minutes yesterday and it crushes
· 432 likesOpen on X
More like this
Jev ermöglicht LLM-as-a-Judge mit 20–200x Geschwindigkeit und 40–400x geringeren Kosten
Jev wurde verwendet, um zu bestimmen, welches Modell AGI ist, und bietet 20–200x Geschwindigkeit und 40–400x geringere Kosten, wodurch LLM-as-a-Judge extrem schnell und nahezu kostenlos wird.
Apps testen mit TypeSafe Jev & OpenCode
Filip teilt eine kleine Demo, die zeigt, wie schnell App-Tests mit TypeSafe Jev und OpenCode sein können.
