Back to explore

Jev als zentrale Routing-Schicht eines Agenten: Entscheidungszeit von 9,2 s auf 15 ms reduziert

Der Autor nutzt Jev als zentrale Routing-Schicht eines Agenten, die anhand der Aufgabenkomplexität entscheidet, an welches Sprachmodell eine Anfrage geht. Zuvor lief diese Entscheidung auf Opus und dauerte etwa 9,2 Sekunden; mit Jev kommt sie in etwa 15 ms zurück.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev als zentrale Routing-Schicht eines Agenten: Entscheidungszeit von 9,2 s auf 15 ms reduziert 1
· 0 likesOpen on X