L'autore ha passato una settimana a misurare Jev: 18.000 giudizi su una specifica HTTP completa per 8 centesimi, poi ha etichettato a mano 59 frasi per verificare se le probabilità significano qualcosa. Ogni intervallo è risultato inferiore alla previsione.
Everyone posted a Jev demo last week. I spent the week measuring it instead. 18,000 judgments across a full HTTP spec. 8 cents. Then I hand labelled 59 sentences to check whether the probabilities mean anything. Every bucket came in below its prediction. 🧵
Malte Ubl ha eseguito Jev di TypeSafe AI su una valutazione di classificazione esistente: ha saturato la valutazione in qualità ed è stato 6 volte più veloce di Gemini 2.5 Flash Lite.
L'autore ha pubblicato un'estensione DuckDB che usa Jev di TypeSafe AI per classificare rapidamente le righe in file CSV/Parquet o tabelle DuckDB, circa 10 secondi per 1k righe—più veloce di un LLM e più ergonomico di un classificatore.
L'autore ha riassunto ogni paper con DeepSeek V4 Flash, poi ha inviato titolo, riassunto e 24 argomenti candidati a Jev per la classificazione, elaborando 1.018 paper sull'IA con un costo totale di 0,08 $ e una latenza end-to-end mediana di 256 ms per paper.
