Wyścig linków Wikipedii: wybór spośród tysięcy opcji
Model wybiera następny krok spośród setek lub tysięcy linków, pokazując szybkie decyzje z ograniczonym wyjściem. Post zawiera film 4:04.
Wizualizacja ocen rerankingu JEV
Autor stworzył demo replay dla zbiorów ewaluacyjnych TREC-1 WSJ i TREC DL 2019. Możesz wybrać zapytanie i obserwować zmiany rankingu oraz metryk dla BM25+JEV i monoBERT vs JEV.
Benchmark tables are hard to picture, so I built a replay for two evaluation sets: TREC-1 WSJ: BM25 + JEV and TREC DL 2019:monoBERT vs JEV. Pick a query to watch both the ranking and metrics change at https://jev-reranking.netlify.app
· 0 likesOpen on X
More like this
Przypadek użycia zapytań semantycznych z Jev i TypeSafe AI
Nathan LeClaire dzieli się przypadkiem użycia zapytań semantycznych dla Jev i TypeSafe AI, zauważając, że dopiero zaczęto badać możliwości.
Tworzenie live'owego miernika BS dla debaty Trump vs Kamala z Jev
Autor użył Jev do uruchomienia live'owego miernika BS na każdym zdaniu debaty Trump vs Kamala, zadając 5 pytań tak/nie każdemu kandydatowi, co dało łącznie 1 191 wywołań Jev, 1,18 mln tokenów, medianę opóźnienia 415 ms i całkowity koszt 0,0497 $.
