Створення класифікатора кодової бази з Jev
Розробник ділиться створенням класифікатора кодової бази з Jev, припускаючи, що це може вирішити проблему переускладненого коду від агентів, і запитує, що тестувати далі.
Simple Jev: перетворення відкритих моделей на структуровані інтерфейси рішень
Simple Jev повторно використовує KV-кеш спільного контексту, читає лише логіти наступного токена для міток-кандидатів і збирає choice, score та оцінку істинності на сервері, уникаючи поетапного декодування та генерації JSON.
如果分类结果最终要喂给业务系统，生成一段 JSON 往往不是最省事的路径。Simple Jev 把开放模型变成结构化决策接口。 https://github.com/featherless-ai/simple-jev… 它复用共享上下文的 KV cache，只读取各问题候选标签的下一 token logits，再由服务端组装 choice、score 和真值判断。省掉逐 token 解码与 JSON
· 1 likesOpen on X
More like this
Jev забезпечує LLM-as-a-Judge у 20–200 разів швидше та у 40–400 разів дешевше
Jev використано для вибору моделі AGI, забезпечуючи у 20–200 разів більшу швидкість і у 40–400 разів меншу вартість, роблячи LLM-as-a-judge надзвичайно швидким і майже безкоштовним.
Тестування застосунків із TypeSafe Jev та OpenCode
Filip ділиться невеликим демо, що показує швидкість тестування застосунків із TypeSafe Jev та OpenCode.
