Tokenisierung und Kontextfenster: Länge limite in KI verstehen
Tokenisierung und Kontextfenster: Verständnis von Längenlimits in KI
In der Welt der künstlichen Intelligenz (KI) und der Verarbeitung natürlicher Sprache (NLP) spielen zwei grundlegende Konzepte eine entscheidende Rolle dafür, wie große Sprachmodelle (LLMs) funktionieren: Tokenisierung und Kontextfenster. Das Verständnis dieser Konzepte hilft, das Geheimnis um die Existenz von Längenlimits in KI-Modellen zu entschlüsseln und wie sie die Leistungsfähigkeit und Fähigkeiten von generativer KI beeinflussen.
Was ist Tokenisierung?
Tokenisierung ist der Prozess, Text in kleinere Teile, oder Tokens, umzuwandeln, die von Algorithmen des maschinellen Lernens leicht verarbeitet werden können. Diese Tokens können je nach verwendeter Tokenisierungsstrategie Wörter, Subwörter oder sogar einzelne Zeichen darstellen. Das Ziel der Tokenisierung ist es, Text in handhabbare Einheiten zu zerlegen, die die Bedeutung bewahren und gleichzeitig die Rechenleistung erleichtern.
Zum Beispiel könnte der Satz „Künstliche Intelligenz revolutioniert die Welt“ in einzelne Wörter tokenisiert werden: [„Künstliche“, „Intelligenz“, „revolutioniert“, „die“, „Welt“]. Alternativ könnte ein subwortbasierter Tokenizer ihn in kleinere Einheiten zerlegen, um Out-of-Vocabulary-Wörter effektiver zu behandeln.
Wichtige Erkenntnisse zur Tokenisierung:
- Zweck: Tokenisierung vereinfacht Text für die maschinelle Verarbeitung.
- Typen: Tokens können Wörter, Subwörter oder Zeichen sein.
- Effizienz: Eine angemessene Tokenisierung verbessert die Modellleistung, indem sie mit Textvariabilität umgeht.
Verständnis von Kontextfenstern
Ein Kontextfenster bezieht sich auf den Bereich von Tokens, den ein Sprachmodell betrachtet, wenn es Antworten generiert oder Vorhersagen trifft. LLMs arbeiten mit einem festen Kontextfenster, was bedeutet, dass sie nur eine bestimmte Anzahl von Tokens zu einem Zeitpunkt analysieren können. Diese Einschränkung ergibt sich sowohl aus rechnerischen Beschränkungen als auch aus dem Design der Modelle.
Wenn beispielsweise ein LLM ein Kontextfenster von 512 Tokens hat, berücksichtigt es nur die letzten 512 Tokens der Eingabe, wenn das nächste Token oder die nächste Vorhersage generiert wird. Dies ist entscheidend für die Aufrechterhaltung von Kohärenz und Relevanz im generierten Text.
