Back to explore

Hasil benchmark Jev dalam bahasa Turki

Seorang pengembang berbagi performa Jev dalam tugas berbahasa Turki: 44/100 di TRLawBench-3 dan 59,42% di Turkish MMLU Pro, di bawah 81,38% milik gpt-6-astra dan 63,64% milik gemma4:31b.

Jev'in Türkçe içerikteki yetenekleri soruluyor. Halihazırda TRLawBench-3'te test etmiştim 44/100 yaptı. Bunun haricinde magibu ekibi de kendi testlerini yapmış. Turkish MMLU Pro'da test etmişler sonuçlar aşağıda: gpt-6-astra (API): %81,38 gemma4:31b: %63,64 Jev: %59,42

Hasil benchmark Jev dalam bahasa Turki 1
· 1 likesOpen on X