Back to explore

Jev як центральний шар маршрутизації агента: час рішення скоротився з 9,2 с до 15 мс

Автор використовує Jev як центральний шар маршрутизації агента, який вирішує, якій мовній моделі передати запит, виходячи зі складності завдання. Раніше це рішення виконувалося на Opus і тривало близько 9,2 секунди; з Jev воно повертається приблизно за 15 мс.

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev як центральний шар маршрутизації агента: час рішення скоротився з 9,2 с до 15 мс 1
· 0 likesOpen on X