FLock.io pubblica un test di accuratezza di 68 domande registrato da terzi: il modello THIS/THAT 1.0 di FLock ottiene il 94,1%, mentre Jev (servizio System One ospitato) raggiunge il 76,5%. Il post lo definisce un risultato promettente per un modello decisionale specializzato, osservando che i compiti complessi che richiedono ricerca su grafi o aritmetica multi-passo restano difficili.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
Malte Ubl ha eseguito Jev di TypeSafe AI su una valutazione di classificazione esistente: ha saturato la valutazione in qualità ed è stato 6 volte più veloce di Gemini 2.5 Flash Lite.
L'autore ha pubblicato un'estensione DuckDB che usa Jev di TypeSafe AI per classificare rapidamente le righe in file CSV/Parquet o tabelle DuckDB, circa 10 secondi per 1k righe—più veloce di un LLM e più ergonomico di un classificatore.
L'autore ha riassunto ogni paper con DeepSeek V4 Flash, poi ha inviato titolo, riassunto e 24 argomenti candidati a Jev per la classificazione, elaborando 1.018 paper sull'IA con un costo totale di 0,08 $ e una latenza end-to-end mediana di 256 ms per paper.
