Lokales LLM vs. Cloud-API: Datenschutz, Kosten, Qualität ehrlich verglichen

Es gibt zwei Sorten von Artikeln zu diesem Thema, und beide ärgern mich. Die eine Sorte kommt aus der Cloud-Ecke und erklärt, lokale Modelle seien Spielzeug für Bastler. Die andere kommt aus der Datenschutz-Ecke und erklärt, wer Cloud-APIs nutze, verrate quasi seine Kunden. Beide Lager haben eines gemeinsam: Sie betreiben meistens nur eine der beiden Welten.

Ich betreibe beide. Seit Jahren laufen auf meinen Hetzner-Servern lokale Modelle: Dort arbeiten meine KI-Agenten, dort läuft ein Teil meiner automatisierten Buchhaltung. Gleichzeitig nutze ich Cloud-APIs, und zwar täglich und gerne. Ich habe mir 2021 geschworen, KI ausschließlich DSGVO-konform einzusetzen, und genau deshalb kann ich dir sagen: Dieser Schwur zwingt einen nicht in eines der beiden Lager. Er zwingt einen nur, genauer hinzuschauen.

Steckst du gerade in einer dieser Diskussionen:

• Die Geschäftsführung will KI, aber „unsere Daten dürfen auf keinen Fall in die Cloud"?
• Jemand hat ein lokales Modell auf einem Testserver installiert, und alle waren enttäuscht, „dass die KI so dumm ist"?
• Du rechnest seit Wochen hin und her, ob ein eigener Server nicht günstiger wäre als die API-Abrechnung?

Dann lass mich die drei großen Vergleichspunkte Datenschutz, Qualität und Kosten so ehrlich durchgehen, wie ich es in einem Kundengespräch auch tun würde. Spoiler: Am Ende steht kein Sieger, sondern eine Entscheidungslogik.

Datenschutz: Der Punkt geht an lokal, aber knapper, als viele denken

Fangen wir mit dem an, was für ein lokales LLM (ein KI-Sprachmodell, das auf eigener Hardware läuft statt beim Anbieter) spricht, und das ist ein gewichtiges Argument: volle Datenhoheit. Wenn das Modell auf deinem Server läuft, verlässt kein einziges Token dein Haus. Keine Auftragsverarbeitung bei einem US-Anbieter, keine Diskussion über Drittlandtransfers, keine Logs auf fremden Systemen, keine Frage, ob deine Eingaben irgendwo zu Trainingsdaten werden. Für eine bestimmte Kategorie von Daten ist das für mich der einzige Weg, bei dem ich ruhig schlafe: Gesundheitsdaten, Personalunterlagen, alles besonders Schützenswerte. Genau dafür stehen meine Hetzner-Server.

Aber hier trenne ich mich vom Datenschutz-Lager: Daraus folgt nicht, dass Cloud-APIs verboten wären. Mit Auftragsverarbeitungsvertrag, EU-Endpoints und deaktivierter Trainingsnutzung lässt sich eine Cloud-API sauber DSGVO-konform betreiben; OpenAI etwa verwendet API-Daten standardmäßig nicht zum Training. Die fünf Entscheidungen, an denen das hängt, habe ich in einem eigenen Artikel beschrieben. Und noch etwas gehört zur Ehrlichkeit dazu: Ein lokales Modell ist nur so sicher wie der Server, auf dem es läuft. Wer eine offene Instanz ohne durchdachtes Sicherheitskonzept betreibt, hat den Datenschutzvorteil nicht gewonnen, sondern nur den Schuldigen gewechselt, nämlich sich selbst. Das BSI liefert für genau diesen Fall eine Übersicht der Chancen und Risiken generativer KI, gedacht als Grundlage für die Risikoanalyse im eigenen Informationssicherheitsmanagement. Datenhoheit heißt eben auch: Die Verantwortung zieht bei dir ein und bringt ihre Koffer mit.

Qualität: Der Punkt geht an die Cloud, und das sage ich ungern

Jetzt zum unbequemen Teil für alle Lokal-Fans, mich eingeschlossen: Die großen Cloud-Modelle sind besser. Nicht ein bisschen besser, sondern in einer eigenen Liga, sobald es um komplexe Aufgaben geht: vielschichtige Texte, anspruchsvolles Schlussfolgern, lange Kontexte, Code. Ein Modell, das auf einem bezahlbaren Server läuft, ist um Größenordnungen kleiner als das, was hinter den großen APIs steht. Das kann man bedauern (tue ich), aber nicht wegdiskutieren.

Dazu kommt ein Punkt, der in Benchmarks nie auftaucht: das Tempo der Entwicklung. Die Cloud-Anbieter schieben dir neue Modellgenerationen unter, ohne dass du etwas dafür tun musst. Beim lokalen Modell bist du selbst der Release-Manager: neue Modelle sichten, testen, umstellen, und zwar neben dem Tagesgeschäft. Ich habe das lange unterschätzt und gebe das offen zu.

Die entscheidende Frage ist trotzdem nicht „welches Modell ist das klügste?", sondern: Braucht deine Aufgabe diese Liga überhaupt? Und da wird es interessant. Ein großer Teil dessen, was in Unternehmen automatisiert wird, sind keine Doktorarbeiten. E-Mails kategorisieren, Belege zuordnen, Daten aus Dokumenten extrahieren, Texte zusammenfassen, Anfragen vorsortieren. Für solche klar umrissenen Aufgaben sind heutige lokale Modelle absolut gut genug. Meine Agenten auf den Hetzner-Servern machen genau solche Arbeit, zuverlässig und ohne dass je ein Kundenbeleg das Haus verlässt. Aber wenn ich einen komplexen Text entwerfe oder ein kniffliges Architekturproblem durchdenke, greife ich zur Cloud. Alles andere wäre Selbstbetrug mit Prinzipien-Deko.

Kosten und Wartung: Der Punkt, bei dem sich alle verrechnen

Beim Geld werden die Diskussionen am kreativsten. Die beliebte Rechnung geht so: „Die API kostet uns X im Monat, ein Server kostet Y, also sparen wir ab Monat Z." Diese Rechnung hat einen Fehler, und der steht nicht auf der Serverrechnung: Ein lokales LLM ist kein Produkt, es ist Betrieb. Jemand muss das Modell aktualisieren, den Server absichern und patchen, die Performance im Blick behalten und sich kümmern, wenn nachts um drei die Inferenz, der laufende Modellbetrieb, hängt. Bei der Cloud-API ist all das im Token-Preis enthalten; beim eigenen Server heißt der Posten „deine Zeit". Und der taucht in kaum einer Kalkulation auf.

Ich sage das als jemand, der diesen Betrieb gerne macht (ja, ich gehöre zu den Menschen, die sich über ein sauberes Server-Setup ehrlich freuen können; mein Umfeld hat sich damit abgefunden). Aber genau deshalb weiß ich, wie viele Stunden dort wirklich hineinfließen. Meine Faustregel: Die Cloud-API skaliert mit der Nutzung und lohnt sich bei schwankender oder geringer Last fast immer. Das lokale Modell lohnt sich, wenn eine dauerhaft laufende, klar definierte Aufgabe existiert. Oder wenn die Datenkategorie den Ausschlag gibt und die Kostenfrage damit schlicht zweitrangig wird.

Die eigentliche Antwort: Welche Daten wohin?

Und damit sind wir bei dem Punkt, auf den ich hinauswill: „Lokal oder Cloud?" ist die falsche Frage, genauso wie „Cloud oder lokal?" beim Datenschutz die falsche Frage war. Die richtige Frage lautet: Welche Daten gehen wohin? Das ist keine Entweder-oder-Entscheidung für das ganze Unternehmen, sondern eine Zuordnung pro Aufgabe und Datenkategorie.

Die drei Vergleichspunkte noch einmal im Überblick:

In meinem eigenen Setup sieht das so aus: Alles, was Kundendaten, Finanzdaten oder Personenbezogenes im großen Stil berührt, läuft lokal auf Servern, die ich kontrolliere. Alles, was öffentliches oder unkritisches Material verarbeitet, darf in die Cloud, wo die stärkeren Modelle sitzen: Texte ohne Personenbezug, Recherche, Code. Dazwischen gibt es die Grauzone, in der Pseudonymisierung den Weg in die Cloud freimacht: Namen raus, Anfrage rein, Antwort zurück, Namen wieder rein. Nicht dogmatisch, sondern pro Datenfluss entschieden. Und einmal sauber dokumentiert, denn spätestens seit der EU AI Act vollständig greift, laut EU-Kommission ab dem 2. August 2026, willst du ohnehin belegen können, welches System was verarbeitet.

Das Schöne an dieser Sichtweise: Sie beendet den Glaubenskrieg. Du musst dich nicht zwischen Datenschutz und Qualität entscheiden. Du musst nur deine Daten kennen und ehrlich einordnen. Das ist übrigens genau die Stelle, an der KI-Architektur und Compliance für mich zu einer einzigen Aufgabe verschmelzen: Die Zuordnung „welche Daten wohin" ist gleichzeitig eine technische und eine rechtliche Entscheidung, und wer sie nur aus einer der beiden Brillen trifft, trifft sie falsch.

Ich gebe zu, dass diese Antwort unspektakulärer ist als „lokal ist die Zukunft!" oder „Cloud gewinnt immer!". Aber nach Jahren mit beiden Welten auf meinen eigenen Servern und Rechnungen ist es die einzige Antwort, hinter der ich stehen kann. Und sie hat einen angenehmen Nebeneffekt: Sie bleibt richtig, auch wenn sich die Technik weiterdreht. Werden lokale Modelle stärker, wandern mehr Aufgaben nach innen. Werden die Cloud-Angebote vertrauenswürdiger, wandern welche nach außen. Die Zuordnung pro Datenkategorie bleibt – nur die Grenzlinie verschiebt sich.

Wenn du gerade vor dieser Entscheidung stehst, deine Kostenrechnung eine zweite Meinung vertragen könnte oder dein „unsere Daten bleiben im Haus"-Projekt konkreter werden soll: Sprich mich an, schreib mir eine E-Mail oder ruf einfach an. Lass uns gemeinsam sortieren, welche deiner Daten wohin dürfen und welches Setup dazu passt.