Jev dibanding model pembuat teks
Jev tidak menghasilkan teks bebas. Video perbandingan menunjukkan perbedaan pengambilan keputusan paralel dan pembuatan teks token demi token.
Cara mengevaluasi akurasi Jev
Membahas bahwa Jev tidak dapat mengarang jawaban di luar skema yang telah ditentukan, tetapi masih dapat memilih jawaban yang salah di dalamnya, terkadang dengan keyakinan tinggi, dan mengangkat pertanyaan evaluasi dalam skenario berisiko rendah.
Jev is cool, but the question I’ve heard most over the past few days is: how do we evaluate its accuracy? 🤔 Jev cannot invent an answer outside a predefined schema, but it still can choose the wrong answer within it, sometimes even with high confidence. For low-stakes,
· 3 likesOpen on X
More like this
Harga, evaluasi, dan asal nama Jev
Thread peluncuran menjelaskan evaluasi alur kerja code + AI, harga input saat peluncuran, dan token output gratis.
Model Jev: pembuatan probabilitas untuk pengambilan keputusan, 200× lebih cepat dan 400× lebih murah dari LLM
Model ini dibuat untuk pengambilan keputusan, bukan pembuatan teks, menghasilkan probabilitas untuk setiap opsi secara paralel alih-alih respons token demi token. Penulis membagikan contoh sederhana perbandingan LLM biasa dengan model Jev ini.
