W teście agenta ewaluacyjnego Ballet na 1 998 złożonych wiadomościach wsparcia, Jev kosztował 0,095 USD i 110 sekund, a Claude Sonnet 5 – 4,34 USD i 220 sekund. Sonnet był dokładniejszy o około 1 punkt, ale Jev był 46 razy tańszy.
Same 1,998 complex support messages. Same three questions. @typesafeai Jev: $0.095 and 110 seconds. @AnthropicAI Claude Sonnet 5: $4.34 and 220 seconds. Sonnet was about 1 point more accurate. Jev was 46× cheaper. That decision is what Ballet's evaluation agent does. It
Autor dzieli się doświadczeniem z Jev: początkowo wydawało się trudne, ale stało się jasne, gdy pomyślał o tym jako 'nie pozwalaj AI pisać tekstu'. Na przykładzie obsługi zapytań tradycyjne podejście przekazuje wszystko GPT lub Claude do analizy, a Jev stosuje inne podejście.
Prototyp wykorzystuje AI do szacowania wahania lub zainteresowania na podstawie ruchów kursora lub zatrzymania przed kliknięciem, obserwując zachowanie klienta i uzupełniając wyjaśnienia lub sugerując porównania.
Autor stworzył demo obsługi klienta w czasie rzeczywistym dla e-commerce z Jev i gpt-live-1, które natychmiast sugeruje polecane produkty na podstawie wypowiedzi użytkownika podczas rozmowy, zapewniając świetne doświadczenie.
