Back to explore

Jev Turkish Benchmark Results

A developer shares Jev's performance on Turkish tasks: 44/100 on TRLawBench-3 and 59.42% on Turkish MMLU Pro, below gpt-6-astra's 81.38% and gemma4:31b's 63.64%.

Jev'in Türkçe içerikteki yetenekleri soruluyor. Halihazırda TRLawBench-3'te test etmiştim 44/100 yaptı. Bunun haricinde magibu ekibi de kendi testlerini yapmış. Turkish MMLU Pro'da test etmişler sonuçlar aşağıda: gpt-6-astra (API): %81,38 gemma4:31b: %63,64 Jev: %59,42

Jev Turkish Benchmark Results 1
· 1 likesOpen on X