Jev frente a los modelos generadores de texto
Jev no genera texto libre. Un video comparativo explica la diferencia entre decisiones paralelas y generación token por token.
Por qué Jev es más rápido que los LLM: análisis de la técnica de inferencia
El post sostiene que la ventaja de velocidad de Jev proviene de la técnica de inferencia, no del entrenamiento del modelo, y que se puede modificar un motor de inferencia para dar a cualquier LLM de pesos abiertos una API similar a Jev de alto rendimiento.
How is Jev so much faster than an LLM? It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in
· 564 likesOpen on X
More like this
Precios, evaluaciones y el nombre Jev
El hilo de lanzamiento explica evaluaciones de flujos code + AI, el precio de entrada anunciado y los tokens de salida gratuitos.
Modelo Jev: generación de probabilidades para decisiones, 200× más rápido y 400× más barato que los LLM
Este modelo está diseñado para la toma de decisiones en lugar de la generación de texto, generando probabilidades para cada opción en paralelo en vez de respuestas token a token. El autor comparte un ejemplo simplificado de LLM normales frente a este modelo Jev.
