WIKI / KI & Systeme
Token
Auch bekannt als: Tokens, Tokenisierung, Tokenizer
Was bedeutet das?
Ein Token ist eine kleine Einheit, in die ein Tokenizer Text für ein Sprachmodell zerlegt. Je nach Verfahren kann ein Token ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen sein. Die Einheiten erhalten Nummern und werden im Modell mathematisch verarbeitet.
Ein einfaches Beispiel.
Ein längeres deutsches Wort kann in mehrere Tokens zerfallen. Zwei Texte mit derselben Wortzahl können deshalb unterschiedlich viele Tokens enthalten.
Darauf solltest du achten.
Tokenzahl und Wortzahl sind nicht gleichzusetzen. Die genaue Zerlegung hängt vom verwendeten Tokenizer ab und lässt sich nicht allein aus der Zahl der Wörter ableiten.