Quelle: https://cetin-consulting.de/wiki/token
Sprache: Deutsch

WIKI / KI & Systeme

# Token

Auch bekannt als: Tokens, Tokenisierung, Tokenizer

## Was bedeutet das?

Ein Token ist eine kleine Einheit, in die ein Tokenizer Text für ein Sprachmodell zerlegt. Je nach Verfahren kann ein Token ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen sein. Die Einheiten erhalten Nummern und werden im Modell mathematisch verarbeitet.

## Ein einfaches Beispiel.

Ein längeres deutsches Wort kann in mehrere Tokens zerfallen. Zwei Texte mit derselben Wortzahl können deshalb unterschiedlich viele Tokens enthalten.

## Darauf solltest du achten.

Tokenzahl und Wortzahl sind nicht gleichzusetzen. Die genaue Zerlegung hängt vom verwendeten Tokenizer ab und lässt sich nicht allein aus der Zahl der Wörter ableiten.

## Diese Begriffe gehören dazu.

[Großes Sprachmodell](https://cetin-consulting.de/wiki/sprachmodell-llm)[Kontextfenster](https://cetin-consulting.de/wiki/kontextfenster)

[Alle Begriffe im Wiki](https://cetin-consulting.de/wiki)

DAS THEMA VERTIEFEN

[Praxis 24. Oktober 2026 Wie funktioniert KI? Was Claude und ChatGPT mit deiner Frage machen Wie lernen Sprachmodelle, was passiert nach deiner Eingabe und warum entstehen Fehler? Eine verständliche Erklärung von Training, Tokens, Attention, Gedächtnis und Werkzeugen mit Beispielen für den Arbeitsalltag. ca. 15 Min. Lesezeit](https://cetin-consulting.de/fachartikel/wie-funktioniert-ki-claude-chatgpt)

Kontakt: info@cetin-consulting.de
Website: https://cetin-consulting.de/