Back to explore

Jev 모델의 문자 세기 작업 성능 테스트

사용자가 TypeSafe AI의 Jev 모델에게 strawberry의 r 개수를 세게 했으나, 일반 LLM과 유사하게 일관성 없는 결과를 보였다.

can @typesafeai Jev count the r's in strawberry? no. 47% says 3, 47% says 2. a coin flip, same as every LLM. On 70% on 168 test words, it undercounts doubled letters like everyone then I gave it the letters instead of the word: ["s","t","r","a","w","b","e","r","r","y"]

· 149 likesOpen on X