Jev versus modelos de geração de texto
Jev não gera texto livre. Um vídeo lado a lado compara decisões paralelas com geração de texto token por token.
Por que o Jev é mais rápido que LLMs: análise da técnica de inferência
O post argumenta que a vantagem de velocidade do Jev vem da técnica de inferência, não do treinamento do modelo, e que é possível modificar um motor de inferência para dar a qualquer LLM de pesos abertos uma API semelhante ao Jev com alto desempenho.
How is Jev so much faster than an LLM? It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in
· 564 likesOpen on X
More like this
Preços, avaliações e o nome Jev
A thread de lançamento explica avaliações de fluxos code + AI, o preço de entrada anunciado e tokens de saída gratuitos.
Modelo Jev: geração de probabilidades para decisões, 200× mais rápido e 400× mais barato que LLMs
Este modelo é feito para tomada de decisão em vez de geração de texto, gerando probabilidades para cada opção em paralelo, em vez de respostas token a token. O autor compartilha um exemplo simplificado de LLMs normais versus este modelo Jev.
