Back to explore

Tanie spekulatywne wywołania Jev optymalizują wykrywanie tur w AI głosowym

Sam Gutentag dzieli się: Flux sygnalizuje, że tura może się kończyć, zanim będzie pewien; Jev jest wystarczająco tani na spekulatywne wywołania, w przeciwieństwie do LLM wymagających pewności.

Again with the room quiet, so you can see the part that makes it work. Flux tells me a turn is probably ending before it's sure. With an LLM you'd wait for certainty, because a discarded call still costs you. Jev is cheap enough to spend on a maybe.

· 0 likesOpen on X