KI-Glossar: generative KI, Entscheidungen und Evaluierung

Ein großes Sprachmodell: ein neuronales Netz, das auf sehr großen Textmengen trainiert wurde, um das nächste Token vorherzusagen. Aus dieser einen Fähigkeit folgt, dass es schreiben, zusammenfassen, übersetzen, klassifizieren und Fragen beantworten kann. Die meisten Chat-Assistenten und Produkte der generativen KI basieren auf einem solchen Modell.

Siehe auch: Autoregressive Generierung Generative KI

Ein großes Basismodell, das auf breiten Daten trainiert und dann per Prompting, Retrieval oder Fine-Tuning an viele Aufgaben angepasst wird, statt für eine einzige gebaut zu sein. LLMs und viele Bild- und multimodale Modelle sind Foundation Models.

Ein Modell, das mehr als eine Datenart (Text, Bilder, Audio oder Video) in einem einzigen System verarbeitet oder erzeugt. Ein Beispiel: ein eingescanntes Formular lesen und Fragen dazu beantworten.

Ein Modell, dessen trainierte Gewichte veröffentlicht sind, sodass es auf Ihrer eigenen Infrastruktur laufen kann. Die Lizenzen unterscheiden sich stark: Offene Gewichte bedeuten nicht automatisch offene Trainingsdaten, offenen Quellcode oder uneingeschränkte kommerzielle Nutzung.

In der Praxis Oft die entscheidende Option, wenn Daten innerhalb Ihrer eigenen Systemgrenzen bleiben müssen.

Siehe auch: Edge- & On-Premise-KI

Der Prompt ist die Eingabe, die ein Modell für eine Aufgabe erhält. Ein System-Prompt ist eine dauerhafte Anweisung der Anwendung, etwa zu Rolle, Regeln und Ausgabeformat, und gilt für jede Anfrage.

In der Praxis Anweisungen im Prompt sind eine Vorgabe, keine Durchsetzung. Was nie passieren darf, gehört in den Anwendungscode.

Siehe auch: Prompt Injection

Die maximale Textmenge, gemessen in Tokens, die ein Modell in einer Anfrage berücksichtigen kann. Anweisungen, Dokumente und der bisherige Gesprächsverlauf zählen alle dazu.

In der Praxis Ein größeres Fenster heißt nicht, dass es besser genutzt wird. Lange Eingaben voller irrelevanter Details können die Antwort trotzdem verschlechtern.

Zum Zeitpunkt der Anfrage werden relevante Passagen aus Ihren eigenen Dokumenten abgerufen und dem Modell als Kontext mitgegeben. So stützen sich die Antworten auf aktuelle, unternehmensspezifische Informationen, ohne dass das Modell neu trainiert werden muss.

Siehe auch: Fine-Tuning oder RAG? Embedding

Eine Zahlenfolge, die die Bedeutung eines Textabschnitts oder eines Bildes abbildet, sodass ähnliche Inhalte nahe beieinander liegen. Embeddings sind die Grundlage für semantische Suche und für den Retrieval-Schritt in RAG.

Eine Datenbank, die dafür gebaut ist, Embeddings zu speichern und die nächstgelegenen schnell zu finden. Sie ist der übliche Suchindex hinter einem RAG-System.

Ein bestehendes Modell wird mit Ihren eigenen Beispielen weitertrainiert, damit es eine Aufgabe, einen Stil oder ein Ausgabeformat zuverlässiger übernimmt. Fine-Tuning verändert das Verhalten. Um ein Modell bei sich ändernden Fakten aktuell zu halten, taugt es wenig. Dafür ist Retrieval da.

Siehe auch: Fine-Tuning oder RAG?

Eine generierte Antwort wird an konkretes Quellmaterial gebunden und verweist darauf, damit Leser prüfen können, woher jede Aussage stammt.

In der Praxis Eine Quellenangabe zeigt, worauf sich eine Antwort angeblich stützt. Ob die Quelle das tatsächlich sagt, muss weiterhin geprüft werden.

Ein Modell erzeugt eine strukturierte Anfrage, eine definierte Funktion auszuführen, etwa eine Datenbank zu durchsuchen, ein Ticket anzulegen oder eine API aufzurufen. Die Anwendung führt die Funktion aus und gibt das Ergebnis an das Modell zurück.

Siehe auch: KI-Agent

Ein System, in dem ein Modell mehrere Schritte plant und ausführt, Tools aufruft und auf deren Ergebnisse reagiert, um eine Aufgabe zu erledigen, statt nur einen einzelnen Prompt zu beantworten. Sobald es Zustände in echten Systemen verändert, braucht es die Berechtigungen, die Evaluierung und die Rollback-Möglichkeiten von Produktivsoftware.

Siehe auch: KI-Agenten & Workflow-Automatisierung Freigabeschritt

In einer Eingabe versteckte Inhalte, etwa in einer E-Mail, einer Webseite oder einem Dokument, die versuchen, die Anweisungen des Modells auszuhebeln, zum Beispiel um Daten abfließen zu lassen oder eine Aktion auszulösen.

In der Praxis Der wichtigste Schutz liegt in der Architektur: enge Berechtigungen und Freigabeschritte, nicht ein besser formulierter Prompt.

Siehe auch: Freigabeschritt

Prüfungen rund um ein Modell, die Ein- und Ausgaben filtern oder blockieren, zum Beispiel bei unzulässigen Themen, personenbezogenen Daten, Format oder Richtlinien. Sie senken das Risiko, ersetzen aber weder Berechtigungen noch Evaluierung.

Ein Sprachmodell, das darauf trainiert ist, Zwischenschritte durchzuarbeiten, bevor es seine endgültige Antwort gibt. Bei mehrstufigen Problemen schneidet es meist besser ab. Der Preis dafür sind mehr Tokens, mehr Latenz und höhere Kosten pro Antwort.

Das Ausführen eines trainierten Modells, um eine Ausgabe zu erzeugen, im Unterschied zum Training. Kosten und Latenz der Inferenz sind das, was Sie im produktiven Betrieb bezahlen, meist pro Anfrage oder pro Token.

Siehe auch: KI nach Nutzung bepreisen

Zwei Wege, ein Modell kleiner und günstiger im Betrieb zu machen. Bei der Quantisierung werden die Gewichte mit geringerer numerischer Genauigkeit gespeichert. Bei der Destillation wird ein kleineres Modell darauf trainiert, ein größeres nachzuahmen. Beide tauschen etwas Qualität gegen Geschwindigkeit und Kosten. Dieser Tausch muss gemessen und nicht einfach angenommen werden.

Siehe auch: Edge- & On-Premise-KI

Der Stichtag, an dem die Trainingsdaten eines Modells enden. Von späteren Ereignissen weiß es nichts, solange diese Informationen nicht zum Zeitpunkt der Anfrage mitgeliefert werden, zum Beispiel per Retrieval.

Siehe auch: Retrieval-Augmented Generation

So erzeugen die meisten großen Sprachmodelle Text: ein Token nach dem anderen, jedes ausgewählt auf Basis der Eingabe und aller bisher erzeugten Tokens. Die Ausgabe entsteht schrittweise und wird nicht in einem Stück zurückgegeben.

In der Praxis Autoregressiv heißt nicht automatisch zufällig. Ob die Ausgabe schwankt, hängt davon ab, wie das jeweils nächste Token ausgewählt wird.

Siehe auch: Greedy Decoding Sampling und Temperatur

Die Einheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil oder ein Satzzeichen. Preise, Kontextgrenzen und Generierungsgeschwindigkeit werden alle in Tokens gemessen.

Bei jedem Schritt wird das wahrscheinlichste nächste Token gewählt, statt zu samplen. Das macht die Generierung deutlich wiederholbarer, wenn auch nicht unbedingt richtig. Unterschiede in der Serving-Infrastruktur können trotzdem gelegentlich Abweichungen verursachen.

Siehe auch: Determinismus vs. Reproduzierbarkeit

Das nächste Token wird zufällig gewählt, gewichtet nach seiner Wahrscheinlichkeit. Die Temperatur steuert, wie breit diese Auswahl streut: Niedrige Werte konzentrieren sie auf die wahrscheinlichsten Tokens, höhere Werte verteilen sie breiter.

In der Praxis Nützlich für abwechslungsreiche Texte. Bei Entscheidungen, die jedes Mal gleich ausfallen sollen, meist unerwünscht.

Ein Sampling-Verfahren, das die Auswahl des nächsten Tokens auf die k wahrscheinlichsten Kandidaten beschränkt und erst dann unter ihnen sampelt. Es beeinflusst, wie Text erzeugt wird. Es ist keine Liste alternativer Antworten auf eine fachliche Frage.

Eine Modellantwort in einem festgelegten, maschinenlesbaren Format, zum Beispiel JSON mit festen Feldern, statt Freitext. Sprachmodelle können strukturierte Ausgaben erzeugen. Entscheidungsmodelle liefern sie von Haus aus.

In der Praxis Eine gültige Struktur sagt nichts darüber aus, ob die Werte darin stimmen.

Siehe auch: Schema-Constrained Decoding Jev von TypeSafe

Die Token-Auswahl eines Sprachmodells wird während der Generierung so eingeschränkt, dass die Ausgabe garantiert einem vorgegebenen Schema entspricht, etwa einem JSON-Schema oder einer festen Liste von Labels.

Ein Modell, das ein begrenztes Urteil statt generierten Text zurückgibt: eine Wahl zwischen definierten Optionen, eine Bewertung anhand eines Kriterienrasters oder eine Ja/Nein-Wahrscheinlichkeit. TypeSafe nennt seine Variante ein System-One-Modell. Jev ist das erste öffentlich verfügbare Beispiel.

Siehe auch: Jev von TypeSafe

Eine flüssige, selbstsicher formulierte Ausgabe, die weder durch die Eingabe noch durch Fakten gedeckt ist.

In der Praxis Eine garantierte Schema-Konformität verhindert fehlerhaft formatierte Antworten, nicht falsche. Wer „null Halluzinationen“ verspricht, sollte sagen, welches von beiden gemeint ist.

Eine Wahrscheinlichkeit für jede zulässige Antwort, die sich zusammen zu eins addieren. Bei einer Wahl zwischen vier Teams liefert das Modell vier Zahlen statt eines einzelnen Labels.

Es wird die Option mit der größten Wahrscheinlichkeit gewählt. Stehen die Wahrscheinlichkeiten fest, steht auch die Wahl fest: Eine Option mit 85 % wird jedes Mal gewählt, nicht in 85 % der Fälle.

Wie gut angegebene Wahrscheinlichkeiten mit beobachteten Häufigkeiten übereinstimmen. Von allen Fällen, die ein gut kalibriertes System mit 80 % bewertet, erweisen sich etwa 80 % als richtig.

In der Praxis Eine Regel wie „ab 90 % automatisch weiterleiten“ ist nur sinnvoll, wenn die Kalibrierung an Ihren eigenen Fällen gemessen wurde.

Siehe auch: Was eine aussagekräftige Evaluierung misst Entscheidungsschwelle

Im allgemeinen Sprachgebrauch: wie sicher sich ein System ist. In einzelnen Produkten kann der Begriff enger gefasst sein. Das Konfidenzfeld von Jev zum Beispiel ist eine Kennzahl, die aus der Form der Wahrscheinlichkeitsverteilung abgeleitet wird, nicht die Wahrscheinlichkeit, dass die Antwort richtig ist.

In der Praxis Prüfen Sie, woraus die Konfidenzzahl eines Anbieters berechnet wird, bevor Sie sie in einer Geschäftsregel verwenden.

Die Wahrscheinlichkeit oder Bewertung, ab der ein Workflow automatisch handelt, statt einen Fall zur Prüfung weiterzugeben.

In der Praxis Eine geschäftliche Festlegung auf Basis gemessener Fehlerkosten, keine Zahl aus einer Demo. Eine falsche Zuordnung zu einer Warteschlange und eine falsche Zahlungsfreigabe verdienen unterschiedliche Schwellen.

Siehe auch: Menschliche Prüfung

Die bestätigte richtige Antwort für einen Fall, festgestellt anhand des tatsächlichen Ergebnisses oder durch die verantwortlichen Fachleute.

In der Praxis Labels, die ein anderes Modell erzeugt hat, sind eine Referenz, keine Ground Truth.

Eine feste Sammlung repräsentativer Fälle mit Ground-Truth-Antworten, mit der jedes Kandidatenmodell und jedes Update auf dieselbe Weise bewertet wird. Meist überdauert sie die Modelle, die damit verglichen werden.

Siehe auch: KI-Evaluierung & Testing

Der Anteil der Fälle, die ein System gemessen an der Ground Truth richtig löst. Nützlich, aber unvollständig: Jeder Fehler zählt gleich, egal was er kosten würde.

Ob derselbe Fall bei einem erneuten Durchlauf mit unveränderten Eingaben auf derselben Modellversion dasselbe oder ein ähnliches Urteil erhält.

In der Praxis Ein System kann vollkommen konsistent sein und dabei konsequent falsch liegen. Testen Sie Konsistenz und Genauigkeit getrennt.

Ein deterministischer Prozess liefert bei identischer Eingabe konstruktionsbedingt eine identische Ausgabe. Reproduzierbarkeit ist die beobachtete Eigenschaft, dass Wiederholungsläufe übereinstimmen. Viele KI-Systeme sind in der Praxis ausreichend reproduzierbar, ohne streng deterministisch zu sein. Keine der beiden Eigenschaften sagt etwas über Richtigkeit aus.

Wie oft zwei Modelle bei denselben Fällen dieselbe Antwort geben.

In der Praxis Hohe Übereinstimmung zeigt, dass sich die Modelle ähnlich verhalten. Sie zeigt nicht, dass eines von ihnen richtig liegt.

Siehe auch: Verstehen und Prüfen ist der neue Engpass

Ein Sprachmodell bewertet andere Ausgaben anhand eines Kriterienrasters. Das ist schnell und im großen Maßstab günstig. Die Bewertungen übernehmen aber die Fehler und Verzerrungen des bewertenden Modells und müssen deshalb regelmäßig mit menschlich geprüfter Ground Truth abgeglichen werden.

Ein standardisierter Testdatensatz mit einer Metrik, um Modelle zu vergleichen. Nützlich, um die Entwicklung des Feldes zu verfolgen. Für einen konkreten Workflow ist er ein schwacher Beleg, solange seine Fälle Ihren eigenen nicht ähneln.

Siehe auch: Fünf Fragen, bevor Sie einer Zahl vertrauen

Eine Regression ist ein Qualitätsverlust nach einer Änderung, etwa einer neuen Modellversion, einem neuen Prompt oder einem neuen Tool. Drift ist eine schleichende Veränderung der Eingaben oder des Modellverhaltens über die Zeit. Beides erkennen Sie, indem Sie einen festen Evaluierungsdatensatz erneut durchlaufen lassen.

Eine Anfrage wird auf eine exakte Modellversion festgelegt statt auf einen veränderlichen Alias wie „latest“. Ein Alias kann das Modell hinter einer unveränderten Anfrage austauschen.

In der Praxis Halten Sie die festgelegte Version bei jedem Evaluierungsergebnis fest, und testen Sie eine neue Version, bevor sie in den produktiven Betrieb geht.

Ein Trainingsverfahren, das ein Sprachmodell auf die Antworten ausrichtet, die Menschen bevorzugen. Dazu wird mit menschlichen Präferenzbewertungen ein Belohnungsmodell trainiert. Das Verfahren hat die meisten heutigen Chat-Assistenten geprägt.

So nennt TypeSafe den Trainingsansatz hinter Jev. Das erklärte Ziel sind strukturierte Entscheidungen mit Wahrscheinlichkeiten, die widerspiegeln, wie oft diese Entscheidungen richtig sind. Wie der Ansatz im Detail funktioniert, beschreiben die öffentlichen Unterlagen nicht.

Siehe auch: Kalibrierung Jev von TypeSafe

Ein Schritt, in dem eine Person die Ausgabe eines Modells prüft oder freigibt, bevor der Workflow darauf reagiert. Das kann für jeden Fall gelten oder nur für Fälle unterhalb einer Schwelle oder solche, die eine Regel markiert hat.

Eine Regel in der Anwendung, die eine unumkehrbare Aktion (Senden, Bezahlen, Löschen) blockiert, bis eine berechtigte Person sie bestätigt. Sie gehört in den Code, nicht in eine Anweisung an das Modell.

Siehe auch: KI-Agenten & Workflow-Automatisierung

Was ein System tut, wenn das Modell in ein Timeout läuft, nichts zurückgibt oder auf eine Eingabe trifft, die es nicht unterstützt. Ein definierter Fallback, meist die menschliche Prüfung, verhindert, dass aus einer fehlenden Antwort eine falsche Aktion wird.