Back to explore

Jev как центральный слой маршрутизации агента: время решения сократилось с 9,2 с до 15 мс

Автор использует Jev как центральный слой маршрутизации агента: он решает, какой языковой модели передать запрос, исходя из сложности задачи. Раньше это решение выполнялось на Opus и занимало около 9,2 секунды; с Jev оно возвращается примерно за 15 мс.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev как центральный слой маршрутизации агента: время решения сократилось с 9,2 с до 15 мс 1
· 0 likesOpen on X