Back to explore

Jev-ifiering av Qwen- och LFM-modeller med LoRA

Författaren försökte Jev-ifiera Qwen3.5-9B, Qwen3-VL-4B och LFM2.5-VL-3B med LoRA och noterade att Qwen3.5-9B:s noggrannhet nästan är i nivå med Jev, men att lokal inferenslatens varierar med tokenlängd, till skillnad från Jev API:s stabila 300 ms.

I've tried Jev-ifying Qwen3.5-9B, Qwen3-VL-4B, and LFM2.5-VL-3B using LoRA 1. In terms of scores, Qwen3.5-9B achieves accuracy that's almost on par with Jev. 2. Compared to the stable 300ms of Jev API, locally there's a huge difference depending on token length (BF16) 3. In image

Jev-ifiering av Qwen- och LFM-modeller med LoRA 1Jev-ifiering av Qwen- och LFM-modeller med LoRA 2Jev-ifiering av Qwen- och LFM-modeller med LoRA 3Jev-ifiering av Qwen- och LFM-modeller med LoRA 4
· 0 likesOpen on X