Back to explore

Jev-ifikacja modeli Qwen i LFM za pomocą LoRA

Autor spróbował Jev-ifikacji Qwen3.5-9B, Qwen3-VL-4B i LFM2.5-VL-3B za pomocą LoRA, zauważając, że dokładność Qwen3.5-9B jest prawie na poziomie Jev, ale lokalne opóźnienie wnioskowania zmienia się wraz z długością tokena, w przeciwieństwie do stabilnych 300 ms w Jev API.

I've tried Jev-ifying Qwen3.5-9B, Qwen3-VL-4B, and LFM2.5-VL-3B using LoRA 1. In terms of scores, Qwen3.5-9B achieves accuracy that's almost on par with Jev. 2. Compared to the stable 300ms of Jev API, locally there's a huge difference depending on token length (BF16) 3. In image

Jev-ifikacja modeli Qwen i LFM za pomocą LoRA 1Jev-ifikacja modeli Qwen i LFM za pomocą LoRA 2Jev-ifikacja modeli Qwen i LFM za pomocą LoRA 3Jev-ifikacja modeli Qwen i LFM za pomocą LoRA 4
· 0 likesOpen on X