Entropie

Entropie im KI- und LLM-Kontext (abgeleitet aus der Informationstheorie nach Claude Shannon) ist ein mathematisches Maß für die Unvorhersehbarkeit, Zufälligkeit und Unsicherheit in der Wahrscheinlichkeitsverteilung des Modells bei der Generierung des nächsten Tokens.

Sie gibt an, wie sicher oder unsicher sich eine KI bei der Wahl des nächsten Wortes ist.

In der Praxis hilft das Überwachen der Entropie während der Generierung auch dabei, Unsicherheiten im Modell frühzeitig zu erkennen oder Halluzinationen in Echtzeit abzufangen.