Jev versus modelos de geração de texto
Jev não gera texto livre. Um vídeo lado a lado compara decisões paralelas com geração de texto token por token.
Jev e modelos de decisão locais: priorizar a latência
O autor defende que executar modelos de decisão localmente é a melhor abordagem, pois podem ser pequenos o suficiente para a maioria do hardware e a latência deve ser otimizada para maximizar decisões por segundo.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Preços, avaliações e o nome Jev
A thread de lançamento explica avaliações de fluxos code + AI, o preço de entrada anunciado e tokens de saída gratuitos.
Modelo Jev: geração de probabilidades para decisões, 200× mais rápido e 400× mais barato que LLMs
Este modelo é feito para tomada de decisão em vez de geração de texto, gerando probabilidades para cada opção em paralelo, em vez de respostas token a token. O autor compartilha um exemplo simplificado de LLMs normais versus este modelo Jev.
