Zurück zu den Nachrichten

Token

Ein Token ist die kleinste Texteinheit (z. B. ein Wort, ein Wortteil oder ein Symbol), die ein Sprachmodell während der Analyse oder der Texterzeugung verarbeitet. Die Eingabe und die Ausgabe von KI-Systemen bestehen aus Tokens.