Was ist das Kontextfenster einer KI?
Das Kontextfenster ist die Textmenge, in Tokens gezählt, die ein Sprachmodell auf einmal berücksichtigt, Anweisungen und Dokumente eingeschlossen.
So funktioniert es
Ein Modell liest für jede Antwort sein ganzes Kontextfenster. Was außerhalb liegt, etwa ein Dokument, das niemand eingefügt hat, oder der abgeschnittene Anfang eines langen Gesprächs, existiert für das Modell nicht.
Größere Fenster fassen mehr, doch die Qualität hängt weiter davon ab, was darin steht: Die richtigen drei Dokumente helfen meist mehr als dreißig lose verwandte.
Ein Beispiel
Soll ein Assistent den Onboarding-Leitfaden aktualisieren, erledigt er die Aufgabe mit dem Leitfaden, der jüngsten Prozessänderung und den Stilregeln. Bekommt er das ganze Wiki, zitiert er womöglich eine veraltete Seite.
Typische Fehler
- Alles einfügen, wodurch die wichtigen Dokumente untergehen.
- Dem Modell eine alte Kopie eines Dokuments geben, das sich inzwischen geändert hat.
- Annehmen, dass das Modell sich an ein früheres Gespräch erinnert, das es nicht sieht.
In Nodary
Mit Nodary verbundene Agenten holen über Such- und Lesewerkzeuge nur die Dokumente, die eine Anfrage braucht, statt einer eingefügten Kopie. Für ein Gespräch anderswo fasst ein Kontextpaket bis zu 12 Quellen zusammen, zeigt seine Größe, sagt, welche Quellen sich seit Ihrer Kopie geändert haben, und lässt sich als Markdown mitnehmen.
Was Nodary nicht tut: Es ändert nicht das Kontextfenster eines Modells, und ein Kontextpaket ist eine Momentaufnahme, die Sie vorbereiten, kein dauerhaftes Gedächtnis.
Probieren Sie es mit Ihren eigenen Dokumenten. Der Free-Tarif braucht keine Karte.
Kostenlosen Arbeitsbereich erstellen