Back to explore

Jev as an agent's core routing layer: decision time cut from 9.2s to 15ms

The author uses Jev as the core routing layer of an agent, letting it decide which language model receives each request based on task complexity. The decision previously ran on Opus and took about 9.2 seconds; with Jev it returns in about 15ms.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev as an agent's core routing layer: decision time cut from 9.2s to 15ms 1
· 0 likesOpen on X