Back to explore

Resultados de benchmark de Jev em turco

Um desenvolvedor compartilha o desempenho do Jev em tarefas em turco: 44/100 no TRLawBench-3 e 59,42% no Turkish MMLU Pro, abaixo dos 81,38% do gpt-6-astra e dos 63,64% do gemma4:31b.

Jev'in Türkçe içerikteki yetenekleri soruluyor. Halihazırda TRLawBench-3'te test etmiştim 44/100 yaptı. Bunun haricinde magibu ekibi de kendi testlerini yapmış. Turkish MMLU Pro'da test etmişler sonuçlar aşağıda: gpt-6-astra (API): %81,38 gemma4:31b: %63,64 Jev: %59,42

Resultados de benchmark de Jev em turco 1
· 1 likesOpen on X