Back to explore

Jev hóa mô hình Qwen và LFM bằng LoRA

Tác giả đã thử Jev hóa Qwen3.5-9B, Qwen3-VL-4B và LFM2.5-VL-3B bằng LoRA, nhận thấy độ chính xác của Qwen3.5-9B gần ngang Jev, nhưng độ trễ suy luận cục bộ thay đổi theo độ dài token, khác với 300ms ổn định của Jev API.

I've tried Jev-ifying Qwen3.5-9B, Qwen3-VL-4B, and LFM2.5-VL-3B using LoRA 1. In terms of scores, Qwen3.5-9B achieves accuracy that's almost on par with Jev. 2. Compared to the stable 300ms of Jev API, locally there's a huge difference depending on token length (BF16) 3. In image

Jev hóa mô hình Qwen và LFM bằng LoRA 1Jev hóa mô hình Qwen và LFM bằng LoRA 2Jev hóa mô hình Qwen và LFM bằng LoRA 3Jev hóa mô hình Qwen và LFM bằng LoRA 4
· 0 likesOpen on X