Un utente ha eseguito un benchmark personalizzato confrontando Jev con GPT-Terra per l'ingestione di documenti nella knowledge base aziendale, rilevando che Jev è il 94% più veloce e il 98,6% più economico, ma l'affidabilità non ha soddisfatto le aspettative.
Ran a custom benchmark comparing Jev with GPT-Terra, the current main model powering document ingestion for our company knowledge base. The results are promising, although reliability was not quite where I expected it to be. As expected, Jev was 94% faster and 98.6% cheaper than
Malte Ubl ha eseguito Jev di TypeSafe AI su una valutazione di classificazione esistente: ha saturato la valutazione in qualità ed è stato 6 volte più veloce di Gemini 2.5 Flash Lite.
L'autore ha pubblicato un'estensione DuckDB che usa Jev di TypeSafe AI per classificare rapidamente le righe in file CSV/Parquet o tabelle DuckDB, circa 10 secondi per 1k righe—più veloce di un LLM e più ergonomico di un classificatore.
L'autore ha riassunto ogni paper con DeepSeek V4 Flash, poi ha inviato titolo, riassunto e 24 argomenti candidati a Jev per la classificazione, elaborando 1.018 paper sull'IA con un costo totale di 0,08 $ e una latenza end-to-end mediana di 256 ms per paper.
