Back to explore

Transformer un LLM open source en modèle de décision rapide type Jev

Explique comment transformer des LLM open source à faible coût en modèles de décision rapides type Jev sans entraînement, et comment ils notent le vocabulaire pour choisir le mot suivant.

you can turn any low-cost open-source LLM into a Jev like fast decision model without training it. Here's how to do it: An LLM doesn't write text directly. At every step it scores every word in its vocabulary for how likely that word is to come next, and then it picks one. Those

· 0 likesOpen on X