Back to explore

Jev som en agents centrala routningslager: beslutstiden minskar från 9,2 s till 15 ms

Författaren använder Jev som en agents centrala routningslager, som utifrån uppgiftens komplexitet avgör vilken språkmodell en begäran skickas till. Tidigare kördes detta beslut på Opus och tog cirka 9,2 sekunder; med Jev återkommer det på cirka 15 ms.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev som en agents centrala routningslager: beslutstiden minskar från 9,2 s till 15 ms 1
· 0 likesOpen on X