Jev frente a los modelos generadores de texto
Jev no genera texto libre. Un video comparativo explica la diferencia entre decisiones paralelas y generación token por token.
Motor LLM local estilo Jev: inferencia en 40 ms solo para juicio
Taro L. Saito señala que, como Jev, un motor LLM local logra inferencia en 40 ms al abandonar la generación de texto/JSON y especializarse en juicio, ejecutándose en DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 mil likesOpen on X
More like this
Precios, evaluaciones y el nombre Jev
El hilo de lanzamiento explica evaluaciones de flujos code + AI, el precio de entrada anunciado y los tokens de salida gratuitos.
Modelo Jev: generación de probabilidades para decisiones, 200× más rápido y 400× más barato que los LLM
Este modelo está diseñado para la toma de decisiones en lugar de la generación de texto, generando probabilidades para cada opción en paralelo en vez de respuestas token a token. El autor comparte un ejemplo simplificado de LLM normales frente a este modelo Jev.
