Back to explore

Jev'in Türkçe benchmark sonuçları

Bir geliştirici, Jev'in Türkçe görevlerdeki performansını paylaşıyor: TRLawBench-3'te 44/100 ve Turkish MMLU Pro'da %59,42; gpt-6-astra'nın %81,38'inin ve gemma4:31b'nin %63,64'ünün altında.

Jev'in Türkçe içerikteki yetenekleri soruluyor. Halihazırda TRLawBench-3'te test etmiştim 44/100 yaptı. Bunun haricinde magibu ekibi de kendi testlerini yapmış. Turkish MMLU Pro'da test etmişler sonuçlar aşağıda: gpt-6-astra (API): %81,38 gemma4:31b: %63,64 Jev: %59,42

Jev'in Türkçe benchmark sonuçları 1
· 1 likesOpen on X