返回探索

Jev 作为智能体核心路由层:决策时间从9.2秒降至15毫秒

作者将 Jev 用作智能体的核心路由层,由其根据任务复杂度决定把请求交给哪个语言模型。此前该决策由 Opus 完成,耗时约9.2秒;使用 Jev 后约15毫秒返回。

ניסיתי את Jev כשכבת הניתוב המרכזית אצלי באייג׳נט. הוא מחליט לאיזה מודל שפה להעביר את הבקשה לפי מורכבות המשימה, ובא לעזור בקבלת החלטות מהירות יותר. קודם ההחלטה הזאת רצה על Opus ולקחה בערך 9.2 שניות. עם Jev היא חוזרת בערך ב-15ms >>

Jev 作为智能体核心路由层:决策时间从9.2秒降至15毫秒 1
· 0 次赞在 X 打开