Back to explore

Jev jako centralna warstwa routingu agenta: czas decyzji spada z 9,2 s do 15 ms

Autor używa Jev jako centralnej warstwy routingu agenta, która na podstawie złożoności zadania decyduje, do którego modelu językowego trafi żądanie. Wcześniej decyzja ta działała na Opus i zajmowała około 9,2 sekundy; z Jev wraca w około 15 ms.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev jako centralna warstwa routingu agenta: czas decyzji spada z 9,2 s do 15 ms 1
· 0 likesOpen on X