RAG, Fine-Tuning oder System-Prompt? Wann welcher Ansatz wirklich passt

Es gibt eine Frage, die mir in Erstgesprächen zu KI-Projekten mit schöner Regelmäßigkeit gestellt wird: „Sollen wir RAG machen oder unser Modell fine-tunen?" Und meine Antwort ist fast immer dieselbe – nämlich eine Gegenfrage: „Welche Art von Wissen soll die KI denn haben?"

Das klingt nach Beraterausweichmanöver, ich weiß. Ist es aber nicht. Denn „RAG oder Fine-Tuning" ist ungefähr so, als würde man einen Handwerker fragen: „Hammer oder Schraubenzieher?" Die ehrliche Antwort hängt davon ab, ob ein Nagel oder eine Schraube vor einem liegt. Und weil ich seit Jahren eigene KI-Systeme baue – von meiner Assistentin Lea bis zu den Agenten, die auf meinen Hetzner-Servern die Buchhaltung sortieren – habe ich diese Entscheidung oft genug getroffen, um ein Muster zu erkennen.

Kennst du diese Situation auch:

• Du willst, dass „die KI unser Unternehmen kennt", aber niemand kann genau sagen, was das konkret bedeutet?
• Ein Dienstleister hat dir Fine-Tuning angeboten, weil das nach der gründlichsten Lösung klingt (und nach dem größten Budget)?
• Dein erster Chatbot-Test hat Firmenwissen erfunden, und jetzt traust du dem ganzen Thema nicht mehr?

Dann lass uns die Frage einmal richtig herum aufziehen. Nicht von der Technik her, sondern vom Wissen.

Die eigentliche Frage: Welche Art von Wissen ist es?

In der Praxis begegnen mir immer wieder drei Kategorien von Wissen, die Unternehmen ihrer KI mitgeben wollen. Erstens: stabile Regeln und Fakten. Wie melden wir uns am Telefon, was sind unsere Kernleistungen, was darf der Assistent auf keinen Fall zusagen. Zweitens: große, lebende Dokumentmengen. Produktdatenblätter, Verträge, Handbücher, Wiki-Seiten – Wissen, das sich ständig ändert und von dem im Einzelfall immer nur ein Bruchteil gebraucht wird. Und drittens: Tonalität und Stil. Die Art, wie das Unternehmen klingt, wie Antworten formuliert sein sollen, welche Formate erwartet werden.

Das Schöne daran: Für jede dieser drei Kategorien gibt es einen Ansatz, der wie angegossen passt. Das weniger Schöne: Es ist fast nie derselbe. Und weil im Erstgespräch selten sauber getrennt wird, welches Wissen eigentlich gemeint ist, wird dann gerne der bekannteste Begriff auf alles angewendet – und der teuerste gleich mit. Ein Kundenservice-Assistent zum Beispiel braucht in Wahrheit alle drei Kategorien gleichzeitig: feste Regeln für sein Verhalten, Zugriff auf die aktuelle Produktdokumentation und den richtigen Ton. Stabile Regeln, lebende Dokumente, Tonalität: drei Arten von Wissen, drei Werkzeuge. Gehen wir sie durch.

Stabile Regeln? System-Prompt.

Fangen wir mit dem unglamourösesten Werkzeug an, das gleichzeitig das am meisten unterschätzte ist: der System-Prompt. Das ist die Anweisung, die dem Modell bei jeder einzelnen Anfrage mitgegeben wird – sein Arbeitsvertrag, wenn man so will. Wer der Assistent ist, wie er sich verhält, was er weiß, was er niemals tun darf.

Als ich Lea gebaut habe, steckte ein erstaunlich großer Teil ihrer „Persönlichkeit" genau dort: in einem sorgfältig gepflegten System-Prompt. Kein Training, keine Vektor-Datenbank – ein Textdokument, das ich in fünf Minuten ändern kann, wenn sich etwas ändert. Und das ist der entscheidende Vorteil: Ein System-Prompt ist sofort angepasst, komplett nachvollziehbar und kostet praktisch nichts.

Meine ehrliche Einschätzung nach etlichen Projekten: Ein erschreckend großer Teil der Anfragen, die als „wir brauchen Fine-Tuning" bei mir ankommen, ist mit einem guten System-Prompt vollständig gelöst. Die Grenze ist die Menge – ein System-Prompt ist für Regeln da, nicht für hundert Handbücher. Wer versucht, das gesamte Firmenwissen hineinzustopfen, bekommt ein teures, langsames und trotzdem vergessliches System.

Große Dokumentmengen? RAG.

Wenn die KI auf echtes, umfangreiches und sich änderndes Firmenwissen zugreifen soll, führt der Weg zu RAG – Retrieval Augmented Generation. Die Idee ist simpel und genau deshalb gut: Das Modell lernt deine Dokumente nicht auswendig. Stattdessen sucht das System bei jeder Frage die passenden Textstellen aus einer Datenbank heraus und legt sie dem Modell als Kontext vor. Die KI beantwortet die Frage dann nicht aus dem Gedächtnis, sondern mit den Unterlagen auf dem Tisch.

Das hat drei Konsequenzen, die in der Praxis Gold wert sind. Aktualität: Ein neues Dokument ist nach dem Import sofort Teil des Wissens, ohne dass irgendetwas neu trainiert wird. Nachvollziehbarkeit: Das System kann sagen, aus welchem Dokument eine Antwort stammt – bei erfundenen Fakten hört der Spaß nämlich schnell auf. Und Löschbarkeit: Was aus der Datenbank fliegt, weiß die KI nicht mehr. Wer meinen Artikel über DSGVO-konforme KI gelesen hat, ahnt, warum mir dieser Punkt wichtig ist. Und falls du lieber amtlichen Quellen glaubst als mir: Auch das BSI führt RAG ausdrücklich als Gegenmaßnahme zu Halluzinationen auf – eben weil sich Antworten damit auf konkrete Textauszüge zurückführen lassen.

Aber ich will ehrlich bleiben: RAG ist kein Zauberstab, sondern ein Suchsystem mit angeschlossenem Sprachmodell – und es ist immer nur so gut wie die Suche dahinter. Schlecht gepflegte Dokumente, veraltete Versionen neben aktuellen, fehlende Zugriffsrechte auf der Datenbank: All das schlägt ungefiltert auf die Antworten durch. Der Aufwand bei RAG steckt selten in der KI und fast immer in der Datenarbeit davor. (Falls dich das an das Aufräumen vor dem Besuch der Schwiegereltern erinnert: ja, ungefähr so fühlt es sich an.)

Tonalität und Stil? Erst jetzt wird Fine-Tuning interessant.

Und was ist mit Fine-Tuning – dem Ansatz, der in Gesprächen immer zuerst genannt wird? Beim Fine-Tuning wird das Modell selbst nachtrainiert, mit Verfahren wie LoRA – das statt des kompletten Modells nur kleine Zusatzmatrizen trainiert – auch ohne Rechenzentrum im Keller. Danach hat das Modell neue Gewichte: Es klingt anders, formatiert anders, verhält sich anders.

Genau das ist seine Stärke – und seine einzige, wenn du mich fragst. Fine-Tuning ist großartig, wenn es um Tonalität, Stil und wiederkehrende Formate geht, die sich partout nicht per Anweisung erzwingen lassen. Das ist keine Privatmeinung von mir: Auch OpenAI beschreibt in seinem Optimierungs-Leitfaden genau diese Arbeitsteilung – RAG, wenn dem Modell Kontextwissen fehlt; Fine-Tuning, wenn Ton, Stil oder Format nicht konsistent sitzen. Es ist dagegen das falsche Werkzeug für Faktenwissen: Das antrainierte Wissen friert auf dem Stand des Trainings ein, lässt sich nicht gezielt löschen, und woher eine Antwort stammt, kann dir hinterher niemand mehr sagen. Dazu kommen Trainingsdaten, die erst einmal in guter Qualität existieren müssen, und ein Prozess, den man bei jeder Änderung wiederholen darf.

Deshalb mein vielleicht unbequemer Rat: Fine-Tuning ist in den meisten Mittelstandsprojekten der dritte Schritt, nicht der erste. Die vernünftige Reihenfolge ist fast immer dieselbe – erst den System-Prompt ausreizen, denn der kostet fast nichts und ist in Minuten geändert; dann RAG dazunehmen, wenn echtes Dokumentenwissen gebraucht wird; und erst wenn danach noch messbar etwas fehlt, über Fine-Tuning reden. Wer mit System-Prompt und RAG nicht ans Ziel kommt, hat entweder einen sehr guten Grund dafür – oder ein Problem, das vorher gelöst gehört.

Falls du das Ganze lieber auf einen Blick hast – hier die Kurzfassung der drei Werkzeuge:

Und wenn es keins von den dreien ist?

Der Vollständigkeit halber: Diese drei Ansätze sind die bekanntesten, aber nicht die einzigen. In unserem Framework arbeiten wir mit insgesamt acht Ansätzen, einer KI Wissen mitzugeben – von simplen Markdown-Dateien über Knowledge Graphs und strukturierte Datenbanken bis zu Tool-Anbindungen per MCP – dem offenen Standard, über den KI-Modelle auf externe Tools und Datenquellen zugreifen – und Memory-Systemen, mit denen sich eine KI Dinge dauerhaft merkt. Welcher Ansatz wann greift, haben wir auf unserer KI-Seite beschrieben. Die Pointe bleibt aber dieselbe: Die Frage ist nie „welche Technik ist die beste?", sondern „welche Art von Wissen liegt vor – und wie oft ändert es sich?".

Und in der Praxis lautet die Antwort fast immer: Kombination. Lea etwa läuft mit einem System-Prompt für ihre Rolle und ihre Grenzen, greift für Inhalte auf strukturierte Daten zu und merkt sich Dinge über ein Memory-System. Kein einziges Fine-Tuning weit und breit – und das sage ich als jemand, der solche Trainings gerne baut, wenn sie den Unterschied machen.

Ich gebe zu: „Es kommt darauf an" ist keine Antwort, die man auf eine Folie drucken möchte. Aber die ehrliche Alternative wäre, dir das teuerste Werkzeug zu verkaufen und zu hoffen, dass es schon passen wird – und dafür bin ich zu lange in diesem Geschäft.

Wenn du gerade vor genau dieser Entscheidung stehst oder dein erster Anlauf mehr halluziniert hat als geholfen: Sprich mich an, schreib mir eine E-Mail oder ruf einfach an. Erzähl mir, welches Wissen deine KI haben soll – dann finden wir gemeinsam heraus, welcher Ansatz dazu passt.