Back to explore

Byggde en Jev-liknande modell för 20 dollar

Eldan delar erfarenheter av att bygga Winnow-12B för 20 dollar: tränad mest på syntetisk beslutsdata, med det verkliga arbetet i filtrering, granskning, motexempel och kuration. Resultat: #1 på When2Call och #6/50 på Decision Index 0.2, bättre än mycket större modeller.

Built my own Jev-style model with $20. Winnow-12B was trained mostly on synthetic decision data. The real work was filtering, auditing, counterexamples, and curation. Result: #1 on When2Call, #6/50 on Decision Index 0.2, against much larger models. https://huggingface.co/EldanRing/Winnow-12B…

Byggde en Jev-liknande modell för 20 dollar 1
· 0 likesOpen on X