Back to explore

Jev's goedkope speculatieve aanroepen optimaliseren beurtdetectie in spraak-AI

Sam Gutentag deelt: Flux geeft aan dat een beurt mogelijk eindigt voordat het zeker is; Jev is goedkoop genoeg voor speculatieve aanroepen, anders dan LLM's die zekerheid vereisen.

Again with the room quiet, so you can see the part that makes it work. Flux tells me a turn is probably ending before it's sure. With an LLM you'd wait for certainty, because a discarded call still costs you. Jev is cheap enough to spend on a maybe.

· 0 likesOpen on X