Jev versus modelos de geração de texto
Jev não gera texto livre. Um vídeo lado a lado compara decisões paralelas com geração de texto token por token.
Motor LLM local estilo Jev: inferência em 40 ms focada em julgamento
Taro L. Saito observa que, como o Jev, um motor LLM local alcança inferência de 40 ms ao abandonar a geração de texto/JSON e se especializar em julgamento, rodando no DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 mil likesOpen on X
More like this
Preços, avaliações e o nome Jev
A thread de lançamento explica avaliações de fluxos code + AI, o preço de entrada anunciado e tokens de saída gratuitos.
Modelo Jev: geração de probabilidades para decisões, 200× mais rápido e 400× mais barato que LLMs
Este modelo é feito para tomada de decisão em vez de geração de texto, gerando probabilidades para cada opção em paralelo, em vez de respostas token a token. O autor compartilha um exemplo simplificado de LLMs normais versus este modelo Jev.
