Dữ liệu Jevals: điểm chuẩn độc lập cho TypeSafe Jev
Dữ liệu benchmark độc lập so sánh Jev (mô hình System One) của TypeSafe AI với nhiều LLM về điểm quyết định, độ chính xác, hiệu chỉnh, chi phí và độ trễ.
Dự án nghiên cứu và triển khai mã nguồn mở lấy cảm hứng từ Jev và System One của TypeSafe. Huấn luyện và phục vụ mô hình spark-s1 trên DGX Spark, bao gồm đánh giá JevBench, an toàn gọi công cụ và nhà máy dữ liệu quyết định.
该仓库是一个深入研究 TypeSafe Jev / System One 的开源实现项目,包含模型训练、JevBench 评测、与 Jev 的对比实验、工具调用安全评估及决策数据工厂,实质内容充分。