Was ist ein Large Language Model (LLM)?

Was ist ein Large Language Model?

Large Language Model heißt wörtlich „großes Sprachmodell“. Der Begriff hat drei Teile: Language – das Modell verarbeitet sprachliche Repräsentationen (moderne Systeme oft verbunden mit anderen Modalitäten); Model – ein trainiertes neuronales Modell, keine Datenbank, keine Suchmaschine, keine Wikipedia-Kopie; Large – sehr viele Parameter und Trainingsdaten. Für „Large“ gibt es keine feste wissenschaftliche Grenze ab X Milliarden Parametern; der Begriff ist historisch und relativ zu verstehen. LLMs sind eine Ausprägung generativer KI und der technische Kern heutiger Chatassistenten.

Wie ein LLM Text erzeugt

Viele verbreitete generative LLMs arbeiten autoregressiv: Sie erzeugen Text Schritt für Schritt, indem sie für die nächste Position eine Wahrscheinlichkeitsverteilung über mögliche Tokens berechnen und daraus eines auswählen. Wichtig: Das Modell wählt nicht stur „das eine wahrscheinlichste Wort“, sondern kann über Decoding-Verfahren (z. B. Greedy, Sampling, Temperature, Top-p) aus der Verteilung ziehen – deshalb variieren Antworten.

Nicht jedes LLM arbeitet Token für Token

Die Formel „ein LLM sagt immer nur das nächste Token voraus“ ist als allgemeine Definition zu eng. Neben autoregressiven Modellen gibt es u. a. diskrete Diffusions-Sprachmodelle, die Text in parallelen Blöcken durch schrittweises „Entrauschen“ erzeugen statt streng von links nach rechts. Google beschreibt das experimentelle Gemini Diffusion (2025) und das offene DiffusionGemma (2026) ausdrücklich als solche nicht-autoregressive Alternative. Auch State-Space-Modelle wie Mamba sind eine aktive Alternative zur reinen Attention. Merke außerdem: Transformer ≠ LLM – der Transformer ist eine Architektur(-familie), das LLM ein großes Sprachmodell; Transformer werden auch außerhalb von LLMs eingesetzt.

Transformer und Attention

Die meisten aktuellen LLMs beruhen auf der Transformer-Architektur (2017 vorgestellt). Ihr Kernbaustein ist die Selbstaufmerksamkeit (Self-Attention): Das Modell gewichtet für jedes Token, wie stark andere Tokens im Kontext für dessen Bedeutung relevant sind, und verarbeitet die Sequenz im Training parallel. So wird ein und dieselbe Zeichenfolge je nach Kontext unterschiedlich eingeordnet:

Tokens und Embeddings

Ein LLM verarbeitet Text nicht als sichtbare Wörter, sondern als Tokens (modellabhängige Einheiten – Token ≠ Wort). Die Token-IDs werden intern in Embeddings überführt – numerische Vektoren, mit denen das neuronale Netz rechnet. Wie viel Kontext gleichzeitig verarbeitet werden kann, bestimmt das Kontextfenster. Die Details stehen in den verlinkten Artikeln – hier genügt: rein → Tokens → Embeddings → Modell.

Parameter, Größe und Mixture of Experts

Parameter (Gewichte) sind die im Training angepassten Zahlenwerte des Modells. Modellwissen ist über viele Parameter verteilt – ein Parameter ist kein einzelner gespeicherter Fakt. Drei oft verwechselte Größen:

Mehr Parameter bedeuten nicht automatisch ein besseres Modell. Qualität hängt auch von Datenmenge und -qualität, Rechenaufwand, Architektur, Tokenizer, Trainingsziel und Post-Training ab. Die Chinchilla-Forschung (2022) zeigte etwa, dass Modellgröße und Trainingsdaten gemeinsam skalieren sollten und viele frühere Modelle untertrainiert waren.

Bei MoE ist die Gesamtparameterzahl deshalb oft viel größer als die aktiven Parameter je Token. Beispiel (offene Gewichte, Stand 09.08.2026): Googles DiffusionGemma wird als MoE mit rund 26 Mrd. Gesamt- und nur etwa 4 Mrd. aktiven Parametern beschrieben. Solche Zahlen sind zeitkritisch – immer die offizielle Model Card prüfen.

Training und Inferenz trennen

Beim Training werden die Modellparameter angepasst. Bei einer normalen Nutzeranfrage (Inferenz) wird das Modell in der Regel nicht neu trainiert: Es verarbeitet Prompt, Systemanweisungen, Kontext, ggf. Dateien, Retrieval und Tools mit seinen bereits gelernten Parametern.

Pretraining, Post-Training und Base vs. Instruct

Im Pretraining lernt das Modell aus großen Datenmengen allgemeine sprachliche und statistische Strukturen. Es „speichert“ dabei nicht das Internet und lernt auch nicht automatisch „Wahrheit“; welche Daten genau verwendet wurden, legen viele Anbieter nicht vollständig offen. Danach folgt Post-Training, das aus einem rohen Base Model einen nutzbaren Assistenten macht:

• Base Model: setzt Text statistisch fort.
• Instruction-Tuned / Chat-Modell: zusätzlich darauf optimiert, Anweisungen wie „Fasse diesen Text in fünf Punkten zusammen.“ als Aufgabe zu behandeln und im Dialog sicher zu antworten.

Verfahren dafür sind u. a. Supervised Fine-Tuning, Instruction Tuning, Präferenzoptimierung, RLHF und Direct Preference Optimization (DPO). RLHF ist nicht die einzige Methode – Anbieter kombinieren unterschiedliche Verfahren und legen ihre Pipelines nicht identisch offen.

LLM, Chatbot, Foundation Model und GPAI

Was LLMs praktisch können

LLMs generieren, transformieren, extrahieren, klassifizieren, fassen zusammen, beantworten Fragen und unterstützen beim Coding. Sie können in geeigneten Systemen auch Structured Outputs (z. B. JSON) erzeugen – wobei LLM-generiertes JSON und garantiert schema-validierter Output nicht dasselbe sind. Wichtig: Fähigkeit bedeutet nicht Fehlerfreiheit.

Tool Use, Websuche, RAG und Memory

Ein LLM „kennt“ nicht automatisch das aktuelle Internet. Zu unterscheiden sind: Modellwissen (aus Training/Post-Training), Kontext (vom Nutzer/System bereitgestellt) und aktuelles externes Wissen (über Tools, Suche oder RAG).

• Tool Use / Function Calling: Das Modell wählt bzw. erzeugt eine strukturierte Werkzeuganfrage; die umgebende Software führt die Aktion aus. Auf „Wie viel sind 17,5 % von 48.932,17 €?“ kann das System einen Rechner aufrufen – das LLM ist nicht selbst der Taschenrechner.
• Websuche: nur verfügbar, wenn das Produkt sie anbindet.
• RAG: stellt relevante Dokumente als Kontext bereit und verändert nicht die trainierten Parameter. RAG erweitert den verfügbaren Kontext, nicht automatisch das trainierte Wissen.
• Memory: eine Produktfunktion, die Informationen außerhalb des Modells speichert und später wieder in den Kontext bringt – nicht Teil des Trainings.

Ein LLM allein ist auch kein KI-Agent: Ein Agentensystem kombiniert Modell, Ziele, Werkzeuge, Zustand und Schleifen. Standardisierte Werkzeuganbindungen beschreibt MCP.

Reasoning und Inference-Time-Compute

Manche Modelle und Systeme verwenden für schwierige Aufgaben zusätzliche Rechenzeit bei der Inferenz („reasoning“, „thinking“, Inference-Time-Compute). Das kann die Leistung bei bestimmten Aufgaben verbessern, ist aber:

• keine Garantie für Korrektheit – ein Modell kann lange „nachdenken“ und trotzdem von einer falschen Voraussetzung ausgehen;
• nicht dasselbe wie eine vollständig sichtbare Gedankenkette – Anbieter zeigen den internen Reasoning-Prozess oft nur als Zusammenfassung oder gar nicht;
• kein Ersatz für fehlende Fakten – aktuelle Informationen brauchen weiterhin Quellen, RAG oder Tools.

Grenzen, Halluzinationen und Wissensstand

Weil LLMs plausible Fortsetzungen aus gelernten Mustern erzeugen und keine geprüfte Faktenbank abfragen, können sie halluzinieren – überzeugend, aber falsch oder unbelegt. Ursachen sind vielfältig (Trainingsdaten, Wissenslücken, Kalibrierung, Prompt, Retrieval, Bewertungsanreize), nicht nur „weil es Wahrscheinlichkeiten berechnet“. Ein LLM ist keine relationale Faktenbank, in der jede Aussage mit Quelle gespeichert ist – es kann viele Fakten reproduzieren, aber die Ausgaben sind nicht automatisch verifiziert. Zu trennen ist auch: ein alter Preis ist veraltetes Wissen, eine erfundene Quelle dagegen eine Halluzination.

Wann ein LLM sinnvoll ist – und wann klassische Software

Ein LLM ist nicht automatisch die beste Lösung. Es passt gut, wenn mehrere plausible Ausgaben möglich sind, Sprache oder unstrukturierte Daten verarbeitet werden oder Entwürfe gebraucht werden. Klassische, deterministische Software ist oft besser, wenn eine eindeutige Datenbankantwort reicht, feste Regeln gelten, exakte Reproduzierbarkeit nötig ist oder sicherheitskritische Logik ohne Validierung läuft. Eine exakte Steuerberechnung gehört in geprüfte Software, nicht in freie Sprachgenerierung. Das moderne Muster verbindet beides: das LLM als flexible Sprach-/Entscheidungsschicht, spezialisierte Tools als deterministische Funktionen (Rechner, Datenbank, Suche, Code-Ausführung).

Open Weights, lokale LLMs, Datenschutz und Sicherheit

Viele „Open-Source-LLMs“ stellen vor allem Modellgewichte bereit. Zu unterscheiden sind Open Weights, offene Lizenz, veröffentlichter Trainingscode und veröffentlichte Trainingsdaten – „Open Weights“ ist nicht automatisch Open Source. Manche Modelle laufen lokal auf eigener Hardware (Kontrolle, Datenlokalität, Offline-Nutzung), was aber Hardware, Updates, Konfiguration und Zugriffsschutz erfordert – lokal ist nicht automatisch sicher. Quantisierung senkt Speicher- und Rechenbedarf, kann aber Qualität kosten (nicht pauschal „verlustfrei“).

Bei Datenschutz ist das Modell vom Cloudprodukt zu trennen: Anbieter, Tarif, Hosting, Speicherfristen und Trainingsverwendung unterscheiden sich – pauschale Aussagen wie „bezahlte LLMs trainieren nie mit Daten“ stimmen nicht. Bei LLM-Systemen mit Tools steigt zudem die Bedeutung von Prompt-Injection-Schutz, Zugriffskontrollen und Datenleck-Vermeidung. Details: Datenschutz.

Häufige Missverständnisse über LLMs

Weiterführend: Generative KI, Tokens & Kontextfenster, Multimodale KI, RAG, Halluzinationen, KI-Modelle evaluieren und das Sprachmodell-Verzeichnis.

• Generative KI
• Tokens & Kontextfenster
• Multimodale KI
• RAG
• Open Weights
• Sprachmodelle