TypeSafe AI, 인용 검사 도구에 추가
사용자가 인용 검사기에 @typesafeai를 추가하고 호평했으며 PaperTrellis에서 무료로 사용 가능. Jev와 의료 AI 태그 포함. Link
Jev는 어려운 사례에서 최첨단 LLM에 뒤처진다
독립 테스트에서 Jev는 안전 분류 및 도구 라우팅에서 LLM과 동률이지만 개방형 작업에서는 뒤처진다.
4/ The catch: they lose on hard cases. In one benchmark Jev scored 72.5% vs 84% for a frontier LLM. An independent test found decision models tie LLMs on safety classification and tool routing, and fall behind on open-ended tasks.
· 0 likesOpen on X
More like this
JevBench: Jev 클래스 모델 최초 벤치마크 공개
JevBench는 Jev 클래스 모델을 위한 최초의 벤치마크입니다. TypeSafe AI의 원본 Jev가 75.3으로 1위, SemIf가 74.6으로 2위입니다. 전체 결과는 benchmarkheaven.com/jev-models에서 확인하세요. Link
Jev, 트롤리 문제 100회 연속 수행
게시물에 따르면 누군가 Jev에게 생명을 맡기고 트롤리 문제를 100회 연속 수행하게 했다. 첫 라운드에서 Jev는 99% 확률로 레버를 당겨 1명을 희생하고 5명을 구하는 선택을 했다.
