Jev frente a los modelos generadores de texto
Jev no genera texto libre. Un video comparativo explica la diferencia entre decisiones paralelas y generación token por token.
Jev y modelos de decisión locales: priorizar la latencia
El autor sostiene que ejecutar modelos de decisión localmente es la mejor opción, señala que pueden ser lo bastante pequeños para la mayoría del hardware y que se debe optimizar la latencia para maximizar las decisiones por segundo.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Precios, evaluaciones y el nombre Jev
El hilo de lanzamiento explica evaluaciones de flujos code + AI, el precio de entrada anunciado y los tokens de salida gratuitos.
Modelo Jev: generación de probabilidades para decisiones, 200× más rápido y 400× más barato que los LLM
Este modelo está diseñado para la toma de decisiones en lugar de la generación de texto, generando probabilidades para cada opción en paralelo en vez de respuestas token a token. El autor comparte un ejemplo simplificado de LLM normales frente a este modelo Jev.
