Back to explore

Недорогі спекулятивні виклики Jev оптимізують визначення реплік у голосовому ШІ

Сем Гутентаг ділиться: Flux повідомляє, що репліка може завершитися до впевненості; Jev достатньо дешевий для спекулятивних викликів, на відміну від LLM, які вимагають визначеності.

Again with the room quiet, so you can see the part that makes it work. Flux tells me a turn is probably ending before it's sure. With an LLM you'd wait for certainty, because a discarded call still costs you. Jev is cheap enough to spend on a maybe.

· 0 likesOpen on X