Back to explore

Jev Skill Suggestion'ın Claude modelleriyle kıyaslanması

Jev Skill Suggestion, 26 beceri, 10 istem ve her biri 3 çalıştırmayla Claude modellerine karşı test edildi: Jev %90 doğruluk ve 330 ms medyan; Haiku %80 ve 1,24 sn; Sonnet/Opus/Fable %100 ve 2,2–4,5 sn. Jev, biraz doğruluktan feragat ederek 4–14× daha hızlı karar sunuyor.

I benchmarked Jev Skill Suggestion against Claude models with 26 skills, 10 prompts, and 3 runs each - Jev: 90% accuracy, 330ms median - Haiku: 80%, 1.24s - Sonnet/Opus/Fable: 100%, 2.2–4.5s So Jev trades a bit of accuracy for a 4–14× faster decision, while keeping the skill

Jev Skill Suggestion'ın Claude modelleriyle kıyaslanması 1
· 67 likesOpen on X