Cuộc đua liên kết Wikipedia: chọn giữa hàng nghìn lựa chọn
Mô hình chọn bước tiếp theo từ hàng trăm hoặc hàng nghìn liên kết, cho thấy quyết định nhanh với đầu ra bị ràng buộc. Bài đăng có video 4:04.
Kiểm tra mô hình Jev trên tác vụ đếm chữ cái
Một người dùng kiểm tra liệu mô hình Jev của TypeSafe AI có thể đếm số chữ r trong strawberry hay không, và nhận thấy hiệu suất tương tự các LLM thông thường với kết quả không nhất quán.
can @typesafeai Jev count the r's in strawberry? no. 47% says 3, 47% says 2. a coin flip, same as every LLM. On 70% on 168 test words, it undercounts doubled letters like everyone then I gave it the letters instead of the word: ["s","t","r","a","w","b","e","r","r","y"]
· 149 likesOpen on X
More like this
Trường hợp sử dụng truy vấn ngữ nghĩa với Jev và TypeSafe AI
Nathan LeClaire chia sẻ trường hợp sử dụng truy vấn ngữ nghĩa cho Jev và TypeSafe AI, lưu ý mọi người mới chỉ chạm đến bề mặt.
Xây dựng thước đo BS trực tiếp cho cuộc tranh luận Trump vs Kamala bằng Jev
Tác giả đã dùng Jev để chạy thước đo BS trực tiếp trên từng câu trong cuộc tranh luận Trump vs Kamala, với 5 câu hỏi có/không cho mỗi ứng viên, tổng cộng 1.191 lệnh gọi Jev, 1,18 triệu token, độ trễ trung vị 415 ms và tổng chi phí $0,0497.
