Back to explore

Сравнение усреднения перестановок Qwen и улучшения Jev

Автор сообщает, что усреднение 8 перестановок выходов Qwen снижает ошибку KL примерно на 79%, а все 720 перестановок — примерно на 97%, тогда как Jev показывает лишь небольшое улучшение.

If Qwen favors the first option, let every answer take a turn there—then average the probabilities. Averaging 8 permutations reduced its KL error by ~79%; all 720 reduced it by ~97%, relative to average single-order error. Jev improved only slightly.

Сравнение усреднения перестановок Qwen и улучшения Jev 1
· 0 likesOpen on X