Jev dibanding model pembuat teks
Jev tidak menghasilkan teks bebas. Video perbandingan menunjukkan perbedaan pengambilan keputusan paralel dan pembuatan teks token demi token.
Mesin LLM lokal gaya Jev: inferensi 40ms khusus penilaian
Taro L. Saito mencatat bahwa, seperti Jev, mesin LLM lokal mencapai inferensi 40ms dengan meninggalkan pembuatan teks/JSON dan mengkhususkan diri pada penilaian, berjalan di DGX Spark.
Just like Jev, to think that a Local LLM engine capable of inference in 40ms is realized simply by abandoning text/json generation and specializing solely in judgment. It's running on DGX Spark, but anyway, it's incredibly fast.
· 1,3 rb likesOpen on X
More like this
Harga, evaluasi, dan asal nama Jev
Thread peluncuran menjelaskan evaluasi alur kerja code + AI, harga input saat peluncuran, dan token output gratis.
Model Jev: pembuatan probabilitas untuk pengambilan keputusan, 200× lebih cepat dan 400× lebih murah dari LLM
Model ini dibuat untuk pengambilan keputusan, bukan pembuatan teks, menghasilkan probabilitas untuk setiap opsi secara paralel alih-alih respons token demi token. Penulis membagikan contoh sederhana perbandingan LLM biasa dengan model Jev ini.
