FLock.io, üçüncü tarafça kaydedilen 68 soruluk doğruluk testini paylaştı: FLock'un THIS/THAT Model 1.0'ı %94,1 alırken, Jev (barındırılan System One hizmeti) %76,5 aldı. Gönderi bunu özelleşmiş bir karar modeli için umut verici bir sonuç olarak nitelendirirken, grafik araması veya çok adımlı aritmetik gerektiren karmaşık görevlerin hâlâ zorlu olduğunu belirtiyor.
In a test of 68 questions recorded by a third party for accuracy: - FLock's THIS / THAT Model 1.0: 94.1% - Jev (hosted System One service): 76.5% A promising result for a specialised decision model. Complex tasks requiring graph search or multi-step arithmetic remain
Malte Ubl, TypeSafe AI'ın Jev'ini mevcut bir sınıflandırıcı değerlendirmesinde çalıştırdı; kalitede değerlendirmeyi doyurdu ve Gemini 2.5 Flash Lite'tan 6 kat hızlıydı.
Yazar, TypeSafe AI'nin Jev'ini kullanarak CSV/Parquet dosyalarındaki veya DuckDB tablolarındaki satırları hızlıca sınıflandıran bir DuckDB eklentisi yayınladı; 1k satır için yaklaşık 10 saniye—LLM'den hızlı ve sınıflandırıcıdan daha kullanışlı.
Yazar her makaleyi DeepSeek V4 Flash ile özetledi, ardından başlık, özet ve 24 olası konuyu sınıflandırma için Jev'e gönderdi. 1.018 AI makalesi toplam 0,08 $ maliyet ve makale başına medyan 256ms uçtan uca gecikmeyle işlendi.
