Jev dibanding model pembuat teks
Jev tidak menghasilkan teks bebas. Video perbandingan menunjukkan perbedaan pengambilan keputusan paralel dan pembuatan teks token demi token.
Jev dan model pengambilan keputusan lokal: memprioritaskan latensi
Penulis berpendapat menjalankan model pengambilan keputusan secara lokal adalah pendekatan terbaik, model dapat dibuat cukup kecil untuk sebagian besar perangkat keras, dan latensi harus dioptimalkan untuk memaksimalkan keputusan per detik.
Jev opened the box, but I believe that having your decisioning model run locally is the winning recipe. Decisioning models can certainly be made small enough for most hardware and you really want to maximize for latency with these models, as a higher decisions-per-second may be
· 1 likesOpen on X
More like this
Harga, evaluasi, dan asal nama Jev
Thread peluncuran menjelaskan evaluasi alur kerja code + AI, harga input saat peluncuran, dan token output gratis.
Model Jev: pembuatan probabilitas untuk pengambilan keputusan, 200× lebih cepat dan 400× lebih murah dari LLM
Model ini dibuat untuk pengambilan keputusan, bukan pembuatan teks, menghasilkan probabilitas untuk setiap opsi secara paralel alih-alih respons token demi token. Penulis membagikan contoh sederhana perbandingan LLM biasa dengan model Jev ini.
