KI im Recruiting: die Hochrisiko-Falle in deinem HR-Tool (und was heute schon gilt)

Vor knapp zwei Wochen, am 2. August, ist der EU AI Act weitgehend voll anwendbar geworden, und seitdem gehe ich mit auffällig vielen Unternehmern ihre KI-Hausaufgaben durch. Eine Szene wiederholt sich dabei zuverlässig (zur Ehrlichkeit: keine einzelne Kundengeschichte, sondern aus mehreren Bestandsaufnahmen zusammengesetzt, aber typisch). Der Geschäftsführer hat alles ordentlich gemacht: Chatbot als KI gekennzeichnet, KI-Tool-Liste geschrieben, Haken dran. Dann frage ich: „Und was macht eigentlich euer Bewerbermanagement-System?" Kurze Stille. Das Feature heißt irgendetwas mit „Matching", war beim Kauf ein Verkaufsargument. Und auf der KI-Liste stand es nie.

Kennst du diese Situation auch:

• Deine HR-Abteilung nutzt ChatGPT, um Bewerbungen zusammenzufassen, oder gleich vorzusortieren?
• Dein Bewerbermanagement-System zeigt zu jedem Kandidaten einen Score, den niemand im Haus erklären kann?
• Jemand hat vorgeschlagen, die Vorauswahl „einfach die KI machen zu lassen", weil der Stapel wieder so groß ist?

Dann ist dieser Artikel für dich. Eine Sache vorab: Ich bin kein Anwalt und will auch keiner werden (mir fehlt die Geduld für Schriftsätze). Ich übersetze Regulatorik in Technik- und Tool-Entscheidungen. Geht es bei dir um einen konkreten Streitfall, gehört ein Fachanwalt an den Tisch. Für alles davor: einfach weiterlesen.

Warum ausgerechnet HR? Der blinde Fleck in Anhang III

Die Pointe gleich am Anfang: Nicht die sichtbare KI ist dein Compliance-Thema: Marketing-Chatbot, Textgenerator und Übersetzungstool sind regulatorisch harmlos bis überschaubar. Das Thema ist die unscheinbare KI im Personalprozess. Anhang III der KI-Verordnung listet die Hochrisiko-Bereiche auf, und Nummer 4 stellt den Beschäftigungskontext ausdrücklich hinein: KI-Systeme für die Einstellung und Auswahl von Menschen, einschließlich gezielter Stellenanzeigen, der Analyse und Filterung von Bewerbungen und der Bewertung von Bewerbern. Und gleich dahinter: KI, die über Beförderung und Kündigung mitentscheidet, Aufgaben nach Verhalten oder Merkmalen zuweist oder Leistung und Verhalten von Mitarbeitern überwacht und bewertet.

Warum nimmt der Gesetzgeber ausgerechnet diesen Bereich so ernst? Weil KI hier über Lebenschancen entscheidet, und weil genug Belege zeigen, dass das schiefgeht. Amazon hat schon 2018 ein intern entwickeltes Recruiting-Tool eingestampft, weil es systematisch Frauen benachteiligte: Trainiert auf einer männerdominierten Bewerberhistorie, hatte es gelernt, dass „erfolgreiche Bewerbung" ungefähr „männliche Bewerbung" bedeutet. Die US-Gleichstellungsbehörde EEOC hat 2023 ihren ersten KI-Diskriminierungs-Vergleich verkündet: 365.000 Dollar, weil eine Recruiting-Software Bewerberinnen ab 55 und Bewerber ab 60 automatisch ablehnte. Und gegen den HR-Software-Anbieter Workday läuft in den USA eine Sammelklage wegen algorithmischer Diskriminierung, der sich laut Medienberichten rund 14.000 Kläger angeschlossen haben: ein laufendes Verfahren, kein Urteil, und amerikanisches Recht obendrein. Aber ein deutliches Signal, wohin die Reise geht.

Wie du dein KI-Portfolio in die Risikoklassen des AI Act einsortierst, habe ich vorgestern im 10-Minuten-Check beschrieben. Das wiederhole ich hier nicht. Heute geht es um die eine Domäne, in die Mittelständler am häufigsten hineinrutschen, ohne es zu merken. Denn jedes Unternehmen ab einer gewissen Größe rekrutiert, fast jedes hat dafür Software im Einsatz. Und darin steckt immer öfter KI.

Der Praxis-Check: was in deinem HR-Alltag betroffen ist und was nicht

Bevor du jetzt jedes HR-Tool anzündest: Es kommt, wie fast immer beim AI Act, nicht darauf an, dass irgendwo KI drinsteckt, sondern darauf, was sie tut. Hier die Landkarte zum Abgleich mit deiner eigenen Tool-Landschaft:

Die Regel hinter dieser Tabelle passt in einen Satz, und den empfehle ich dir zu behalten: Kritisch ist KI dort, wo ihr Output beeinflusst, wer eine Chance bekommt – unkritisch dort, wo sie nur Arbeit schneller macht, über die danach ein Mensch wirklich entscheidet.

Das Wort „wirklich" trägt hier mehr Gewicht, als es aussieht. Die EU-Kommission hat im Mai einen Entwurf ihrer Leitlinien zur Hochrisiko-Einstufung veröffentlicht (die finale Fassung wird für Ende 2026 erwartet), und die Kernbotschaft für HR ist unbequem: Ein System kann auch dann Hochrisiko sein, wenn formal ein Mensch die letzte Entscheidung trifft, nämlich wenn der KI-Output maßgeblich beeinflusst, welche Kandidaten weiterkommen. „Bei uns entscheidet am Ende immer ein Mensch" trägt also nur, wenn dieser Mensch wirklich entscheidet. Nicht, wenn er den Score durchwinkt.

„Das haben wir doch nur eingekauft": warum das Tool-Argument nicht zieht

Der Einwand kommt an dieser Stelle in fast jedem Gespräch: „Wir haben das doch nur eingekauft. Soll sich der Hersteller darum kümmern." Die Logik des AI Act ist da unbestechlich: Wer ein KI-System beruflich nutzt, ist Betreiber. Und wer ein Hochrisiko-Feature nutzt, ist Betreiber eines Hochrisiko-Systems. Dass der Anbieter das Modell gebaut hat, verschiebt einen Teil der Pflichten zu ihm. Aber es nimmt dir deine nicht ab. (Was Anbieter und Betreiber unterscheidet und wo die Rolle rutschig wird, steht ebenfalls im 10-Minuten-Check.)

Ich baue solche Systeme selbst: Scoring- und Ranking-Mechaniken, wie sie auch in RAG-Systemen stecken, bei mir allerdings über Dokumente statt über Menschen. Technisch passiert beim „Matching" nichts Magisches: Lebenslauf und Stellenprofil werden in Zahlenvektoren übersetzt, deren Ähnlichkeit berechnet und als Score ausgegeben. Das klingt neutral. Aber ein Modell, das Ähnlichkeit zu bisherigen erfolgreichen Einstellungen belohnt, reproduziert deine Einstellungspraxis, mit allen Schieflagen, die darin stecken. Genau das war der Amazon-Fall. Ein Matching-Score ist eine Bewertung von Bewerbern. Dass er aus einer eingekauften Software fällt, ändert daran nichts.

Und weil Ehrlichkeit der wichtigste Teil meiner Arbeit ist: Ich sortiere selbst keine Bewerbungsstapel. webiator ist eine sehr kleine GmbH: Meine „Mitarbeiter" sind KI-Agenten, und die bewerben sich nicht. Aber ich sitze in den Bestandsaufnahmen mit am Tisch, wenn das Matching-Feature auffliegt. Mein Erfahrungswert daraus, ganz ohne Statistik: Eingekaufte KI-Features fehlen auf fast jeder KI-Liste, weil sie als „Software-Funktion" verbucht sind, nicht als KI. Dazu zählt auch die Schatten-Variante: das private ChatGPT-Konto, in das Bewerbungen „nur zum Zusammenfassen" kopiert werden. Bewerberdaten gehören zum Heikelsten, was durch ein Unternehmen läuft: Gesundheitsangaben, Schwerbehinderung, Foto. Wie du regelst, welche Daten überhaupt in welche KI dürfen, habe ich im DSGVO-Artikel beschrieben.

Was heute schon gilt und was erst ab Dezember 2027

Jetzt zur Frage, die seit dem 2. August alle umtreibt: Wann wird das ernst? Für die Hochrisiko-Pflichten lautet die Antwort: später, als die Schlagzeilen behaupten. Die EU hat den Anwendungsbeginn für Anhang-III-Systeme mit dem Digital Omnibus auf den 2. Dezember 2027 verschoben. Verschoben, nicht gestrichen. Die Hintergründe habe ich im Juli aufgeschrieben. Aber, und dieses Aber ist der eigentliche Grund für diesen Artikel: Im Personalbereich gelten zwei ältere Regelwerke ganz ohne Schonfrist.

Erstens die DSGVO. Artikel 22 verbietet seit 2018, Menschen einer rein automatisierten Entscheidung mit erheblicher Wirkung zu unterwerfen. Und eine Job-Absage ist dafür der Lehrbuchfall. Der EuGH hat die Latte 2023 im SCHUFA-Urteil tiefer gelegt, als viele denken: Schon die automatisierte Ermittlung eines Score-Werts kann die verbotene automatisierte Entscheidung sein, wenn der Score faktisch den Ausschlag gibt. Übersetzt in den HR-Alltag: Wenn deine KI vorsortiert und die „Absagen"-Spalte anschließend ungelesen abgearbeitet wird, bist du im Art.-22-Territorium, samt Pflicht zu menschlichem Eingreifen, Anhörung des Bewerbers und Anfechtbarkeit der Entscheidung.

Zweitens das AGG, in Kraft seit 2006. Das Diskriminierungsverbot fragt nicht danach, ob ein Mensch oder eine Maschine benachteiligt. Und § 22 AGG hat es in sich: Sprechen Indizien für eine Benachteiligung, dreht sich die Beweislast: Dann musst du beweisen, dass keine vorlag. Mit einem eingekauften Black-Box-Score, dessen Zustandekommen dir der Anbieter selbst nicht erklären kann, wird genau das ein sehr unangenehmer Termin. Die US-Fälle von oben sind keine deutsche Rechtslage, aber sie belegen, dass Bias im KI-Screening kein theoretisches Risiko ist, sondern ein dokumentiertes.

Damit sieht deine Fristen-Übersicht so aus:

Ab Dezember 2027 kommen also die Betreiberpflichten aus Artikel 26 dazu: menschliche Aufsicht durch geschulte Personen, Kontrolle der Eingabedaten, Aufbewahrung der Protokolle. Und eine Pflicht, die kaum jemand auf dem Zettel hat: Bevor ein Hochrisiko-System am Arbeitsplatz in Betrieb geht, müssen die betroffenen Beschäftigten und ihre Vertretung informiert werden. Falls du einen Betriebsrat hast, redet der ohnehin mit: § 95 Abs. 2a BetrVG regelt die Mitbestimmung bei KI-gestützten Auswahlrichtlinien schon seit 2021. Das Thema ist einen eigenen Artikel wert, den hebe ich mir auf.

Warum deine Tool-Entscheidung von heute über 2027 hinaus bindet

„Dezember 2027, dann habe ich ja Zeit." Verstehe ich. Stimmt aber nur für den Papierkram, nicht für die Entscheidungen. HR-Software kauft man nicht für die knapp sechzehn Monate bis Dezember 2027: Wer heute ein Bewerbermanagement-System mit fest verdrahtetem KI-Matching einführt, betreibt es dann höchstwahrscheinlich noch. Allerdings mit Hochrisiko-Pflichten, deren Erfüllung er sich heute nicht vertraglich gesichert hat. Deshalb gehören ein paar Fragen in jede laufende Tool-Auswahl, bevor unterschrieben wird:

• Ist das KI-Feature einzeln abschaltbar, oder fest verdrahtet?
• Sagt der Anbieter verbindlich zu, rechtzeitig vor Dezember 2027 Konformitätsunterlagen zu liefern?
• Wo laufen die Bewerberdaten durch? Gibt es einen AVV, ist die Trainingsnutzung ausgeschlossen?
• Lässt sich jede automatisierte Ablehnung deaktivieren?
• Kann der Anbieter nachvollziehbar erklären, wie der Score zustande kommt?

Kommt bei zwei oder mehr dieser Fragen Schulterzucken, ist das kein Beinbruch, aber ein Warnsignal und ein gutes Verhandlungsargument.

Damit das nicht falsch ankommt: Das ist kein Anti-KI-Artikel. Ich glaube sogar, dass KI das Recruiting fairer machen kann: strukturierter, besser dokumentiert, weniger abhängig von der Tagesform dessen, der den Stapel um 17 Uhr durchblättert. Die Gegenseite automatisiert längst: Laut einer softgarden-Befragung unter knapp 7.000 Bewerbenden von Ende Juni nutzen inzwischen rund 43 Prozent KI für ihr Anschreiben. KI-geschriebene Bewerbungen treffen auf KI-Screening. Umso wichtiger, dass wenigstens auf deiner Seite jemand versteht, was da passiert. Der Unterschied liegt nicht zwischen KI und keiner KI. Er liegt zwischen gestaltet und gekauft-und-vergessen.

Was ich an deiner Stelle diese Woche tun würde

Drei Dinge, und keins davon ist ein Projekt. Erstens: Nimm die HR-Zeile in deine KI-Bestandsaufnahme auf, inklusive eingekaufter Features und inoffizieller Nutzung. Die ehrlichste Frage an dein Team: „Was benutzt ihr wirklich, wenn der Bewerbungsstapel groß ist?" Zweitens: Prüfe, ob irgendwo eine Absage rausgeht, die kein Mensch inhaltlich gesehen hat. Falls ja, zieh sofort eine echte menschliche Letztentscheidung ein und dokumentiere sie: Das ist keine 2027-Frage, sondern seit 2018 geltendes Recht. Und drittens: Läuft bei dir gerade eine HR-Software-Auswahl, stell die fünf Anbieterfragen, bevor unterschrieben wird. Nachfragen ist deutlich billiger als nachverhandeln.

Wenn du nicht sicher bist, was in deinem Bewerbermanagement-System steckt, oder gerade eine HR-Tool-Entscheidung ansteht, die dich über 2027 hinaus bindet: Sprich mich an, schreib mir eine E-Mail oder ruf einfach an. Wir gehen deine HR-KI-Landschaft gemeinsam durch. Nach meiner Erfahrung ist die Liste am Ende kürzer als befürchtet, aber selten leer. Du bekommst kein hundertseitiges Gutachten und kein Panik-Audit, sondern eine Einordnung, mit der du entscheiden kannst.