Token

« Back to Glossary Index

Token ist die grundlegende Baustein-Einheit, in die ein großes Sprachmodell (LLM) Texte zerlegt, um sie mathematisch zu verarbeiten und zu verstehen.

Ein Token entspricht dabei selten einem ganzen Wort, sondern meist Zeichenketten oder Wortteilen (Subwords).

Tokens bilden das fundamentale Grundgerüst für LLMs in Bezug auf Kontext sowie Abrechnung und Kosten.

« Back to Glossary Index