Back to explore

Jev als centrale routeringslaag van een agent: beslissingstijd van 9,2 s naar 15 ms

De auteur gebruikt Jev als centrale routeringslaag van een agent, die op basis van taakcomplexiteit bepaalt naar welk taalmodel een verzoek gaat. Voorheen draaide deze beslissing op Opus en duurde ongeveer 9,2 seconden; met Jev komt die in ongeveer 15 ms terug.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev als centrale routeringslaag van een agent: beslissingstijd van 9,2 s naar 15 ms 1
· 0 likesOpen on X