Creando un clasificador de código con Jev
Un desarrollador comparte la creación de un clasificador de código con Jev, sugiere que puede resolver código sobrediseñado por agentes y pregunta qué probar después.
Simple Jev: convierte modelos abiertos en interfaces de decisión estructuradas
Simple Jev reutiliza la caché KV de contexto compartido, lee solo los logits del siguiente token de las etiquetas candidatas y ensambla choice, score y juicio de verdad en el servidor, evitando la decodificación por token y la generación de JSON.
如果分类结果最终要喂给业务系统，生成一段 JSON 往往不是最省事的路径。Simple Jev 把开放模型变成结构化决策接口。 https://github.com/featherless-ai/simple-jev… 它复用共享上下文的 KV cache，只读取各问题候选标签的下一 token logits，再由服务端组装 choice、score 和真值判断。省掉逐 token 解码与 JSON
· 1 likesOpen on X
More like this
Jev permite LLM-as-a-Judge con 20–200x más velocidad y 40–400x menos costo
Jev se usó para elegir qué modelo es AGI, ofreciendo 20–200x más velocidad y 40–400x menos costo, lo que hace que LLM-as-a-judge sea extremadamente rápido y casi gratis.
Probando apps con TypeSafe Jev y OpenCode
Filip comparte una pequeña demo que muestra la rapidez al probar apps con TypeSafe Jev y OpenCode.
