Lohnt sich KI im Dev-Team? Was du messen darfst, was du messen solltest (und warum Commits dich anlügen)

Vor gut zwei Monaten habe ich hier aufgeschrieben, warum dein Dev-Team nach der KI-Einführung erst langsamer wird, bevor es schneller wird. Seitdem kommt in Gesprächen verlässlich die Anschlussfrage: „Verstanden, J-Kurve. Aber woher weiß ich denn nun, ob sich das Ganze am Ende rechnet?" Und fast genauso verlässlich folgt ein zweiter Satz, den ich in Kunden-Workshops regelmäßig höre: „Das Tool hat doch ein Dashboard. Können wir nicht einfach sehen, wer es wie viel nutzt?"

Kennst du diese Situation auch:

• Du hast vor ein paar Monaten Copilot- oder Claude-Lizenzen für dein Entwicklerteam freigegeben und willst jetzt, völlig zu Recht, wissen, ob sich das lohnt?
• Der Anbieter liefert ein hübsches Dashboard mit Nutzungszahlen pro Entwickler gleich mit, und irgendetwas in dir zögert, es zu aktivieren?
• Und die Frage nach Zahlen fühlt sich an, als würdest du deinem Team misstrauen, dabei willst du doch nur wissen, wofür du bezahlst?

Meine Antwort vorweg, in zwei Teilen. Erstens: Die Frage nach dem Nachweis ist richtig. Wer nicht misst, verlängert Lizenzen aus Gewohnheit. Oder kündigt sie aus Frust. Zweitens, und dieser Teil fehlt in praktisch jedem US-Ratgeber zu Entwickler-Produktivitätsmetriken: Bevor du fragst, was du misst, musst du in Deutschland fragen, was du messen darfst. Das klingt nach Spaßbremse. Es ist aber ein Glücksfall, denn die rechtlich sichere Messart ist zufällig genau die, die dir auch methodisch die richtige Antwort liefert. Der Reihe nach.

Die Metrik-Falle: Commits und Codezeilen steigen mit KI von allein

Der Reflex, nach der KI-Einführung auf Commits, Pull Requests und Lines of Code zu schauen, ist verständlich: Diese Zahlen liegen ja schon da. Das Problem: KI-Tools machen genau diese Einheiten billig. Mehr Commits, mehr Zeilen, mehr Pull Requests sind mit Codegeneratoren der Normalzustand, kein Erfolgsnachweis. Wer Output misst, misst die Maschine – nicht den Nutzen.

Wie weit Aktivität und Ergebnis auseinanderliegen können, hat die METR-Studie gezeigt, die ich im Juli ausführlich auseinandergenommen habe: Erfahrene Entwickler waren mit KI 19 Prozent langsamer, glaubten hinterher aber, rund 20 Prozent schneller gewesen zu sein. Und die Codezeilen, die deine Statistik feiert, können genau die sein, die dich später Wartung kosten: Seit dem Boom der KI-Assistenten ist die Code-Duplikation um 81 Prozent gestiegen, während das Refactoring kollabiert. Die Folgekosten-Rechnung dazu habe ich hier aufgemacht. Mehr Code ist nicht mehr Wert. Manchmal ist er einfach nur mehr Code.

Aber bevor wir klären, was du stattdessen misst, kommt die Frage, die in den US-Ratgebern nie steht: Darfst du das überhaupt?

Bevor du misst: was du in Deutschland überhaupt messen darfst

Vorweg das Übliche: Ich bin kein Anwalt, und das hier ist keine Rechtsberatung. Ich übersetze Regulatorik in Entscheidungen. Wenn es bei dir konkret knirscht, gehört ein Fachanwalt für Arbeitsrecht an den Tisch.

Das Nutzungs-Dashboard deines Tool-Anbieters, das Aktivität und Produktivität pro Entwickler ausweist, ist im Sinne des Gesetzes eine „technische Einrichtung, die dazu bestimmt ist, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen" und damit nach § 87 Abs. 1 Nr. 6 BetrVG zwingend mitbestimmungspflichtig, sofern es in deinem Betrieb einen Betriebsrat gibt. Falls du jetzt denkst „wir wollen doch gar nicht überwachen, wir wollen nur wissen, ob sich die Lizenzen lohnen": Auf deine Absicht kommt es nicht an. Das Bundesarbeitsgericht hat im Juli 2024 klargestellt, dass „dazu bestimmt" schlicht heißt: objektiv geeignet. Nicht einmal eine Speicherung der Daten ist dafür erforderlich.

Bevor du seufzt: Mitbestimmungspflichtig heißt nicht verboten. Es heißt verhandelt: Betriebsvereinbarung statt Alleingang. Und seit dem Betriebsrätemodernisierungsgesetz von 2021 steht Künstliche Intelligenz sogar ausdrücklich im Gesetz: Der Betriebsrat ist bei geplantem KI-Einsatz zu unterrichten und zu beraten (§ 90 Abs. 1 Nr. 3 BetrVG), und wenn er zur Beurteilung einen Sachverständigen hinzuziehen will, gilt das bei KI-Fragen per Gesetz als erforderlich (§ 80 Abs. 3 BetrVG). Der Gesetzgeber hat also längst entschieden, dass KI am Arbeitsplatz kein Alleingang der Geschäftsführung ist.

„Wir haben doch gar keinen Betriebsrat"

Diesen Einwand höre ich oft, und statistisch stimmt er meistens: Nur rund 37 Prozent der Beschäftigten in der Privatwirtschaft arbeiten in einem Betrieb mit Betriebsrat, bei den Betrieben selbst liegt die Quote im einstelligen Prozentbereich. Gut möglich also, dass § 87 dich formal nicht bindet.

Zwei Dinge binden dich trotzdem. Die DSGVO: Die gilt für jeden Arbeitgeber, mit oder ohne Betriebsrat, dazu gleich mehr. Und etwas, das in keinem Gesetz steht, aber teurer ist als jede Betriebsvereinbarung: das Vertrauen der Leute, die du halten willst. Entwickler sind auf dem Arbeitsmarkt nicht gerade in der schwächeren Verhandlungsposition. Ein heimlich aktiviertes Produktivitäts-Ranking spricht sich herum, und dann misst du am Ende sehr präzise, wie schnell dein bester Entwickler kündigen kann.

DSGVO: Warum ein heimliches Dashboard teurer werden kann als alle Lizenzen zusammen

Wie teuer, lässt sich beziffern. Die französische Datenschutzbehörde CNIL hat gegen Amazon France Logistique 32 Millionen Euro Bußgeld verhängt, und zwar für ein Scanner-System, das die Arbeit der Lagerbeschäftigten sekundengenau vermaß, inklusive eines Indikators, der jede Scanner-Pause ab zehn Minuten meldete. Die Nuance, die dabei oft untergeht: Die CNIL hat Amazon nicht das Messen an sich verboten. Sie hat ausdrücklich anerkannt, dass Leistungssteuerung ein legitimes Interesse sein kann. Kassiert wurde die Maßlosigkeit: die Tiefe des Trackings, die wochenlange Vorratsspeicherung aller Detaildaten, die mangelhafte Information der Beschäftigten. Übersetzt auf Entwickler-Telemetrie: Nicht das Ob ist das Problem, sondern das Wie: heimlich, personenscharf, grenzenlos.

Auch Deutschland hat sein Beispiel: 35,3 Millionen Euro Bußgeld gegen H&M im Jahr 2020, wegen systematischer Ausforschung von Beschäftigten, bis heute das höchste deutsche DSGVO-Bußgeld im Bereich Beschäftigtendaten.

Dazu kommt eine Unsicherheit, die du kennen solltest: Der Europäische Gerichtshof hat 2023 die deutsche Generalklausel zum Beschäftigtendatenschutz gerupft: § 26 BDSG trägt als alleinige Rechtsgrundlage nicht mehr sicher, und das angekündigte Beschäftigtendatengesetz lässt weiter auf sich warten. Für dich heißt das nicht „Jura studieren", sondern: Je wackliger die Rechtsgrundlage, desto mehr zählen die Grundprinzipien (Datenminimierung, Transparenz, Team- statt Personenbezug). Wer seine KI-Einführung ohnehin entlang der DSGVO aufgebaut hat, kennt dieses Muster schon.

Die Entscheidung, auf die alles zuläuft, ist zum Glück einfach: aggregierte, anonymisierte Auswertung auf Team-Ebene ja, personenbezogene Rankings nein. Und offen kommuniziert statt heimlich aktiviert. Heimlichkeit funktioniert übrigens in beide Richtungen nicht: Deine Mitarbeiter nutzen KI längst auch dort, wo du es nicht siehst. Transparenz ist auf beiden Seiten die einzige stabile Grundlage.

Und der AI Act? Kurzer Blick nach vorn, ohne Panik

Noch ein Absatz zur dritten Ebene, dann wird es konstruktiv: Der EU AI Act stuft KI-Systeme, die für die „Beobachtung und Bewertung der Leistung und des Verhaltens" von Beschäftigten verwendet werden, als Hochrisiko ein (Anhang III). Ein KI-Dashboard, das Entwicklerleistung bewertet, spielt regulatorisch also in einer ganz anderen Liga als das Coding-Tool selbst. Die Hochrisiko-Pflichten greifen nach der im Digital Omnibus final gebilligten Verschiebung zwar erst später (spätestens am 2. Dezember 2027), aber der AI Act verlangt vom Arbeitgeber ohnehin, Beschäftigte und ihre Vertreter vor dem Einsatz eines solchen Systems zu informieren. Transparenz ist keine Kür. Wie der AI Act grundsätzlich tickt, habe ich hier eingeordnet, und ob deine KI-Anwendungen betroffen sind, klärt der 10-Minuten-Check.

Was du stattdessen misst: drei Kennzahlen auf Team-Ebene

Jetzt der versprochene Glücksfall. Du könntest all die rechtlichen Hürden als Ärgernis sehen. Ich sehe sie als Wegweiser, denn sie schieben dich exakt zu der Messart, die auch methodisch die richtige ist. DORA, der De-facto-Standard für die Messung von Software-Delivery, sagt selbst ausdrücklich: Delivery-Performance ist keine Individual-Messgröße. Sie ergibt nur auf Team- und Service-Ebene Sinn, und wer Leistungsunterschiede sieht, soll zuerst im System suchen (langsame Reviews, fehlende Testabdeckung), nicht beim Einzelnen. Der DORA-Report 2025 zur KI-gestützten Entwicklung zeigt zudem, warum reine Output-Zahlen täuschen: KI erhöht Durchsatz und Instabilität: Sie verstärkt, was da ist. Das Anbieter-Dashboard mit Personen-Ranking misst also nicht nur rechtlich riskant. Es misst auch das Falsche.

Was stattdessen? Drei Kennzahlen, alle auf Team-Ebene, alle ohne neuen Messwerkzeug-Zoo. Erstens die Durchlaufzeit: Wie lange braucht eine Anforderung von „beschlossen" bis „läuft in Produktion"? Nimm fünf bis zehn vergleichbare Referenzvorgänge vor der Einführung und danach. Die Zeitstempel stehen in deinem Ticketsystem längst drin. Zweitens die Nacharbeitsquote: Wie viel von dem, was live geht, muss zurück? Bugfix-Anteil, fehlgeschlagene Änderungen. Auch das gibt dein Ticketsystem her. Und drittens, die unbequemste und beste: gelieferte, abgenommene Ergebnisse. Kommen Features tatsächlich früher beim Kunden an?

Die dritte ist übrigens die, nach der ich selbst arbeite. Ich entwickle seit 2009, und ein erheblicher Teil meiner Firma läuft heute über Claude Code und KI-Agenten. Ich schaue aber nicht, wie viele Commits meine Agenten produzieren. Ich schaue, was davon beim Kunden ankommt und bezahlt wird. Dazu gehört allerdings Ehrlichkeit in eigener Sache: Ein Messsystem über ein angestelltes Dev-Team habe ich nie verantwortet: Mein „Team" besteht aus Agenten, und die haben keinen Betriebsrat. Was ich dir hier weitergebe, ist recherchierte Rechtslage plus das, was ich in Workshops und an mir selbst beobachte. Kein Benchmark-Katalog.

Eine Bedingung haben alle drei Kennzahlen, und die wird gern übersehen: Du brauchst die Baseline von vorher. Wer erst nach sechs Monaten KI-Einsatz mit dem Messen anfängt, hat keinen Vergleichswert und rät ab da nur noch mit Diagrammen.

Zur Übersicht, was taugt und was nicht:

Die letzte Zeile verdient ein eigenes Kapitel.

Die ehrlichste Metrik kostet nichts und braucht keinen Anwalt

Frag dein Team nach drei Monaten (anonym, drei Fragen, zehn Minuten): Würdet ihr die Tools freiwillig behalten? Was davon würdet ihr sofort abschalten? Und wo hat euch KI zuletzt konkret Zeit gespart?

Warum das funktioniert: Entwickler geben Werkzeuge, die sie langsamer machen, freiwillig wieder her. Und sie verteidigen Werkzeuge, die tragen, notfalls gegen dich. Ein Team, das die Tools behalten will, ist ein stärkeres Lohnt-sich-Signal als jedes Dashboard. Und ein Team, das sie loswerden will, hat dir gerade eine teure Fehlentscheidung erspart. Auch das ist ein Ergebnis.

Ich habe die Drei-Monats-Frage für mich selbst beantwortet, mehrfach. Claude Code und meine spezialisierten Agenten würde ich sofort wieder anschaffen: Sie tragen einen erheblichen Teil meiner Firma. Meinen Alleskönner-Agenten dagegen habe ich freiwillig wieder abgeschaltet: Er brauchte mehr Aufsicht, als er Nutzen brachte. Genau diese Sorte Antwort willst du von deinem Team: differenziert, ehrlich, handlungsleitend. Kein Dashboard der Welt sagt dir „Tool A behalten, Tool B kündigen". Dein Team sagt es dir in zehn Minuten.

Die schönste Eigenschaft dieser Metrik: Sie vergrault niemanden. Sie ist das exakte Gegenteil von Überwachung, nämlich eine Frage. Du brauchst dafür weder Betriebsvereinbarung noch Datenschutz-Folgenabschätzung, weder Anwalt noch Anbieter-Dashboard. Nur den Mut, eine ehrliche Antwort auszuhalten.

Erst Erfolgskriterien, dann Lizenzen

Wenn ich dir aus diesem Artikel eine einzige Sache mitgeben darf, dann die Reihenfolge: Erfolgskriterien und Baseline werden definiert, bevor der erste Euro in Lizenzen fließt, nicht sechs Monate danach, wenn im Meeting jemand fragt, was das alles eigentlich bringt. Genau so machen wir das in unserer Potenzialanalyse: Erfolgskriterien auf Team-Ebene, mitbestimmungs- und DSGVO-fest gedacht (denn Compliance gehört für uns in die Architektur, nicht in den Anhang) und ohne Messwerkzeug-Zoo. In unseren KI-Workshops setzen wir die Drei-Monats-Befragung und die Kennzahlen gemeinsam mit dem Team auf, nicht gegen es. Werkzeuge verteilen ist keine Einführung. Und Messen gegen das Team ist keine Messung.

Wenn du gerade vor dem Rollout stehst, mittendrin steckst oder ein Anbieter-Dashboard mit Personen-Ranking vor dir liegt und dein Bauchgefühl schon die richtige Frage stellt: Sprich mich an, schreib mir eine E-Mail oder ruf einfach an. Lass uns gemeinsam herausfinden, ob sich deine KI-Tools rechnen, ohne dass du dafür dein Team vergraulst oder einen Anwalt beschäftigen musst.