Ein Nutzer führte einen eigenen Benchmark durch, der Jev mit GPT-Terra für die Dokumentenerfassung in der Unternehmenswissensdatenbank vergleicht: Jev war 94 % schneller und 98,6 % günstiger, die Zuverlässigkeit blieb jedoch hinter den Erwartungen zurück.
Ran a custom benchmark comparing Jev with GPT-Terra, the current main model powering document ingestion for our company knowledge base. The results are promising, although reliability was not quite where I expected it to be. As expected, Jev was 94% faster and 98.6% cheaper than
Malte Ubl testete Jev von TypeSafe AI in einem bestehenden Klassifikator-Eval: Es sättigte das Eval qualitativ und war 6-mal schneller als Gemini 2.5 Flash Lite.
Der Autor hat eine DuckDB-Erweiterung veröffentlicht, die TypeSafe AIs Jev nutzt, um Zeilen in CSV/Parquet-Dateien oder DuckDB-Tabellen schnell zu klassifizieren – etwa 10 Sekunden für 1k Zeilen, schneller als ein LLM und ergonomischer als ein Klassifikator.
Der Autor fasste jedes Paper mit DeepSeek V4 Flash zusammen und übergab Titel, Zusammenfassung und 24 mögliche Themen an Jev zur Klassifizierung. 1.018 KI-Papers wurden bei 0,08 $ Gesamtkosten und 256 ms medianer End-to-End-Latenz pro Paper verarbeitet.
