Back to explore

Jev-ificazione dei modelli Qwen e LFM con LoRA

L'autore ha provato a Jev-ificare Qwen3.5-9B, Qwen3-VL-4B e LFM2.5-VL-3B con LoRA, notando che l'accuratezza di Qwen3.5-9B è quasi pari a Jev, ma la latenza di inferenza locale varia con la lunghezza dei token, a differenza dei 300 ms stabili dell'API Jev.

I've tried Jev-ifying Qwen3.5-9B, Qwen3-VL-4B, and LFM2.5-VL-3B using LoRA 1. In terms of scores, Qwen3.5-9B achieves accuracy that's almost on par with Jev. 2. Compared to the stable 300ms of Jev API, locally there's a huge difference depending on token length (BF16) 3. In image

Jev-ificazione dei modelli Qwen e LFM con LoRA 1Jev-ificazione dei modelli Qwen e LFM con LoRA 2Jev-ificazione dei modelli Qwen e LFM con LoRA 3Jev-ificazione dei modelli Qwen e LFM con LoRA 4
· 0 likesOpen on X