Back to explore

CLERC検索ベンチマークにおけるJevの性能

CLERCクエリのサブセットで、ファインチューニングなしのLayaは2.5%でBM25(5%)やFastLate(10%)を下回り、Jevは30%、Lunaは22.5%、プロンプト調整でLunaは52.5–55%に達しました。

I ran it on a subset of CLERC queries (recovering a missing citation’s source). Laya, without fine-tuning, scored 2.5% top-1, below BM25 (5%) and FastLate (10%). Jev 30%, Luna 22.5% , with bit of prompt tuning Luna gets 52.5–55%,

CLERC検索ベンチマークにおけるJevの性能 1
· 0 likesOpen on X