Back to explore

Jev Skill Suggestion과 Claude 모델 벤치마크 비교

26개 스킬, 10개 프롬프트, 각 3회 실행으로 Jev Skill Suggestion과 Claude 모델을 비교: Jev는 정확도 90%, 중앙값 330ms; Haiku는 80%, 1.24초; Sonnet/Opus/Fable은 100%, 2.2–4.5초. Jev는 약간의 정확도를 포기하고 4–14배 빠른 결정을 제공.

I benchmarked Jev Skill Suggestion against Claude models with 26 skills, 10 prompts, and 3 runs each - Jev: 90% accuracy, 330ms median - Haiku: 80%, 1.24s - Sonnet/Opus/Fable: 100%, 2.2–4.5s So Jev trades a bit of accuracy for a 4–14× faster decision, while keeping the skill

Jev Skill Suggestion과 Claude 모델 벤치마크 비교 1
· 67 likesOpen on X