Jev versus modelos de geração de texto
Jev não gera texto livre. Um vídeo lado a lado compara decisões paralelas com geração de texto token por token.
Por que o Jev é ~200x mais rápido que um juiz LLM?
O Jev não tem estágio de decodificação; a resposta sai de uma única passada de prefill, tornando-o cerca de 200 vezes mais rápido que um juiz LLM tradicional.
Why is Jev ~200x faster than an LLM judge? Short answer: it has no decode stage. The answer comes out of a single prefill pass. 🧵
· 0 likesOpen on X
More like this
Preços, avaliações e o nome Jev
A thread de lançamento explica avaliações de fluxos code + AI, o preço de entrada anunciado e tokens de saída gratuitos.
Modelo Jev: geração de probabilidades para decisões, 200× mais rápido e 400× mais barato que LLMs
Este modelo é feito para tomada de decisão em vez de geração de texto, gerando probabilidades para cada opção em paralelo, em vez de respostas token a token. O autor compartilha um exemplo simplificado de LLMs normais versus este modelo Jev.
