Back to explore

Jev-ifizierung von Qwen- und LFM-Modellen mit LoRA

Der Autor hat Qwen3.5-9B, Qwen3-VL-4B und LFM2.5-VL-3B mit LoRA Jev-ifiziert und stellt fest, dass die Genauigkeit von Qwen3.5-9B fast mit Jev vergleichbar ist, die lokale Inferenzlatenz jedoch je nach Token-Länge stark variiert, anders als die stabilen 300 ms der Jev-API.

I've tried Jev-ifying Qwen3.5-9B, Qwen3-VL-4B, and LFM2.5-VL-3B using LoRA 1. In terms of scores, Qwen3.5-9B achieves accuracy that's almost on par with Jev. 2. Compared to the stable 300ms of Jev API, locally there's a huge difference depending on token length (BF16) 3. In image

Jev-ifizierung von Qwen- und LFM-Modellen mit LoRA 1Jev-ifizierung von Qwen- und LFM-Modellen mit LoRA 2Jev-ifizierung von Qwen- und LFM-Modellen mit LoRA 3Jev-ifizierung von Qwen- und LFM-Modellen mit LoRA 4
· 0 likesOpen on X