Back to explore

Erfahrung mit dem Aufbau einer Evaluations-Suite für System-One-Modelle wie Jev

Morgan teilt Erfahrungen beim Aufbau einer Evaluations-Suite für System-One-Modelle wie Jev: Die ersten beiden Versuche scheiterten, brachten aber viel Lernen; Jevs Schnelligkeit und geringe Kosten machen schnelle Tests einfacher als mit einem LLM.

It has been a really interesting experience to build an eval suite for System One Models like Jev. My first two attempts didn't work out. But I learned a lot in the process, and since Jev is so fast, and cheap, it's a lot easier to run quick tests than with an LLM. I'm on

Erfahrung mit dem Aufbau einer Evaluations-Suite für System-One-Modelle wie Jev 1
· 0 likesOpen on X