Token

In der KI und Informatik eine Einheit von Daten, die diese an das Modell übergeben wird.

Jeder eingegebene Text wird in Tokens zerlegt, die vom KI-Modell verarbeitet werden.