Back to explore

Đánh giá Jev Skill Suggestion so với các mô hình Claude

Jev Skill Suggestion được đánh giá so với các mô hình Claude với 26 kỹ năng, 10 prompt và 3 lần chạy mỗi loại: Jev đạt 90% độ chính xác, trung vị 330ms; Haiku 80%, 1,24 giây; Sonnet/Opus/Fable 100%, 2,2–4,5 giây. Jev đánh đổi chút độ chính xác để có quyết định nhanh hơn 4–14 lần.

I benchmarked Jev Skill Suggestion against Claude models with 26 skills, 10 prompts, and 3 runs each - Jev: 90% accuracy, 330ms median - Haiku: 80%, 1.24s - Sonnet/Opus/Fable: 100%, 2.2–4.5s So Jev trades a bit of accuracy for a 4–14× faster decision, while keeping the skill

Đánh giá Jev Skill Suggestion so với các mô hình Claude 1
· 67 likesOpen on X