Realtime-Bench: Jev가 가장 빠르지만 정확도는 8%에 불과
Realtime-Bench 주요 결과: 최고 모델 GPT-6-Astra는 36%를 기록. Jev는 1초 미만으로 응답하는 가장 빠른 모델이지만 8%에 그침. 추론을 추가하는 것은 시계가 멈춰 있을 때만 도움이 되며, 실제 시간에서는 느린 사고가 승리를 놓치게 함. 시간이 멈춰도 풀리지 않는 작업이 많음.
THE JEV GUIDE · CURATED EDITION
과학 연구.
TypeSafe Jev의 출시 소식, 설명, 데모, 커뮤니티 프로젝트를 주제별로 정리했습니다. 모든 항목은 X 원본 게시물로 연결됩니다.
선별 큐레이션 · 전체 수집 아님 · 수동 업데이트
6757개의 수록 게시물
3414개의 원본 동영상
Sponsors
이 제품들이 이 디렉터리를 후원합니다. 내 제품도 올리기
alphaXiv, Jev와 비교하는 4B 의사 결정 모델 공개
alphaXiv는 117k 의사 결정 예시로 4B 모델을 훈련했으며, 풍자 탐지를 제외하고 Jev와 거의 동일한 성능을 보이고 증오 발언 심각도 같은 미지의 과업에 일반화되었다고 밝혔습니다.
Decision Bench 결과: Jev 1.13 대 Clef Omni
Wasim Jalali가 Decision Bench 9일차 결과를 공유: Clef Omni는 87.2% 정확도로 8개 모델 중 최하위. Jev 1.13과 숨은 질문 수 및 노이즈 처리를 비교. 보수적이며 대부분의 노이즈를 남김.
Jev는 어려운 사례에서 최첨단 LLM에 뒤처진다
독립 테스트에서 Jev는 안전 분류 및 도구 라우팅에서 LLM과 동률이지만 개방형 작업에서는 뒤처진다.
독점 데이터 없이 Jev를 능가하는 모델, 가드 벤치마크에서 우위
Carlos Muñoz Ferrandis는 일주일, A100 2대, 공개 데이터셋과 합성 응답만으로 8개 공개 가드 벤치마크 중 6개에서 Jev를 이겼고, 평균 AUROC는 Jev의 0.934 대비 0.936, 단일 A100에서 요청당 90ms를 달성했다고 밝혔다.
One card in the feed, every sixteen, on every page of it. $50 a week, cancel any week.
텐센트 논문, Jev와 주요 LLM 비교
이 게시물은 선택지 순서 변경에 대한 Jev의 판단력을 평가한 텐센트 연구 논문을 인용하여, 풀 수 있는 문제에서도 Jev가 자주 틀린다는 결과가 저자의 경험과 일치한다고 말합니다.
Jev로 스캔한 논문에서 재검토할 페이지 표시
사용자는 Jev를 사용해 수식이 포함된 대학원생의 스캔 논문 폴더에서 재검토가 필요한 페이지를 표시할 것을 제안합니다. Link
Jev로 로봇 모델링 논문 분류하기
Ben Kolligs가 @typesafe의 Jev를 사용해 로봇 모델링 논문의 제목과 초록을 분류했으며, VLA 모델 논문이 2023년 약 10%에서 2026년 1~9월 38%로, 월드 모델은 9%에서 18%로 증가했다고 밝혔습니다.
LLM 교정에 관한 흥미로운 아이디어: Jev와 의사결정 모델
Latent Space 팟캐스트에서 swyx가 Jev와 의사결정 모델을 논의하며 LLM 교정의 드문 주제를 다루고, 사람들이 모르거나 이해하지 못할 교정 요소를 강조했습니다.
Jev에서 영감을 받은 의사결정 모델 비교 연구
저자는 #Jev 기반의 새로운 의사결정 모델과 로컬 소형 모델을 비교하며, 예시가 적을 때는 API가 유리하고 데이터가 많아지면 결과가 달라진다고 설명합니다. Link
Decision Bench 5일 차: Jev 1.13, 마이크로소프트 모델과 접전
Decision Bench 5일 차 결과를 보도: Microsoft-Decision-1이 96.4% 정확도로 선두, Jev 1.13은 단 1건 차이로 뒤따르며, 숨은 질문 수와 노이즈 댓글 비용도 언급.
다중 답변 작업에서 Jev의 확률 할당 연구
이 게시물은 다중 답변 작업에서 모델이 정답 옵션을 방해 요소보다 앞에 배치하면서도 일부 정답 항목에 낮은 확률을 부여할 수 있다는 연구를 공유합니다. 논문은 MetaTool, HotpotQA, ECtHR에서 Jev 등의 모델을 평가합니다. Link
