Vor einigen Tagen bin ich über einen Gastkommentar bei Industrial Explorer mit dem Titel „Human-in-the-loop ist tot, lang lebe Human-in-the-loop“ gestolpert. Die Autorin Alex Rumble, AI Embassador und CMO bei HTEC, argumentiert, dass der klassische Ansatz, Menschen systematisch als Kontrollinstanz in KI-Prozesse einzubauen, in hochautomatisierten Systemen an seine Grenzen stößt. Die Begründung wirkt zunächst plausibel: Wenn KI-Systeme Millionen Entscheidungen pro Tag treffen, wird menschliche Kontrolle zwangsläufig zur Illusion, weil mehr menschliche Eingriffe nicht automatisch zu besseren Entscheidungen führen, sondern häufig Verzögerungen, Inkonsistenzen und eine trügerische Sicherheit erzeugen.
Das Interessante an diesem Text war für mich weniger die Diagnose als das Gefühl eines Déjà-vu, das er bei mir ausgelöst hat. Viele der Argumente erinnern mich an einen eigenen Text, den ich im Oktober 2024 veröffentlicht habe und in dem ich mich mit der Frage beschäftigt habe, wie sich Zusammenarbeit verändert, wenn KI nicht mehr nur Werkzeug ist, sondern zunehmend zum aktiven Akteur in Arbeitsprozessen wird. Der Kern meiner damaligen These lautete, dass wir unser Verständnis von Kollaboration neu denken müssen, sobald KI ernsthaft in Arbeitsprozesse integriert wird, denn dann geht es nicht mehr ausschließlich um Zusammenarbeit zwischen Menschen, sondern auch um Zusammenarbeit zwischen Menschen und KI-Systemen. Genau an dieser Stelle berühren sich beide Debatten, und gleichzeitig wird sichtbar, wo der aktuelle Diskurs über KI-Governance noch erstaunlich unscharf bleibt.
Der klassische Human-in-the-loop-Ansatz entstand in einer Phase, in der KI-Systeme relativ isoliert eingesetzt wurden und menschliche Akteure typischerweise Outputs überprüften, Fehler korrigierten oder am Ende eine finale Entscheidung trafen. Dieses Modell erfüllte mehrere Funktionen gleichzeitig, denn es reduzierte Risiken technischer Fehler, erzeugte Vertrauen in neue Technologien und verschob Verantwortung letztlich zurück auf den Menschen. In der Praxis hatte Human-in-the-loop jedoch immer eine strukturelle Schwäche, nämlich seine mangelnde Skalierbarkeit, wie Alex Rumble in ihrem Gastkommentar schreibt. Sobald KI-Systeme in komplexen, vernetzten und hochautomatisierten Umgebungen eingesetzt werden, wird permanente menschliche Kontrolle faktisch unmöglich, selbst dann, wenn sie formal verlangt wird. Der Gastkommentar bringt dieses Problem auf den Punkt, wenn er argumentiert, dass manuelle Kontrolle zur Illusion wird, sobald Systeme Millionen Entscheidungen pro Tag treffen.
Diese Beobachtung ist keineswegs neu, sondern wird in der Automationsforschung seit Jahrzehnten diskutiert. Menschen neigen dazu, automatisierten Systemen entweder zu wenig oder zu viel zu vertrauen, und beide Extreme sind problematisch. Bereits 1983 beschrieb Lisanne Bainbridge dieses Phänomen als „Ironies of Automation“ und wies darauf hin, dass mit zunehmender Leistungsfähigkeit automatisierter Systeme paradoxerweise auch die Fähigkeit des Menschen sinkt, diese Systeme sinnvoll zu überwachen. Je zuverlässiger Systeme werden, desto schwieriger wird es für Menschen, ihre Funktionsweise im Detail zu verstehen und im entscheidenden Moment effektiv einzugreifen.
Der aktuelle Diskurs über Human-in-the-loop suggeriert häufig, dass das zentrale Problem darin bestehe, zu entscheiden, ob Menschen weiterhin im Loop bleiben sollen oder nicht. Diese Fragestellung greift jedoch zu kurz, weil sie implizit davon ausgeht, dass Kontrolle primär auf der Ebene einzelner Entscheidungen stattfinden müsse. Genau an dieser Stelle liegt meines Erachtens ein grundlegendes Missverständnis. In komplexen KI-Systemen verschiebt sich Kontrolle zwangsläufig auf andere Ebenen, etwa auf Systemdesign, Zieldefinition, Governance-Strukturen oder die Festlegung von Risikoparametern. Menschen kontrollieren dann nicht mehr jede einzelne Entscheidung, sondern sie gestalten die Architektur der Systeme, innerhalb derer Entscheidungen entstehen. Diese Verschiebung von operativer Kontrolle hin zu struktureller Gestaltung stellt einen fundamentalen Perspektivwechsel dar.
Der Gastkommentar deutet diese Verschiebung an, wenn er argumentiert, Vertrauen in KI entstehe nicht durch permanente menschliche Eingriffe, sondern durch Systeme, die von vornherein erklärbar, auditierbar und mit klaren Verantwortlichkeiten gestaltet sind. Diese Beobachtung ist überzeugend, bleibt jedoch relativ abstrakt, solange nicht klar wird, was dies organisatorisch konkret bedeutet. In der Forschung zur Mensch-Automation-Interaktion wird in diesem Zusammenhang häufig der Begriff des „calibrated trust“ verwendet, der auf ein angemessen austariertes Vertrauen in automatisierte Systeme verweist. Dabei geht es nicht um blindes Vertrauen, sondern um ein Vertrauen, das an die realen Fähigkeiten und Risiken eines Systems angepasst ist. Lee & See haben bereits 2004 darauf hingewiesen, dass effektive Zusammenarbeit zwischen Menschen und automatisierten Systemen davon abhängt, dass Vertrauen weder zu niedrig noch zu hoch ist, sondern der tatsächlichen Leistungsfähigkeit des Systems entspricht.
Ein solches kalibriertes Vertrauen entsteht jedoch nicht dadurch, dass Menschen jeden einzelnen Output kontrollieren, sondern durch transparente Systemarchitekturen, klar definierte Risikoschwellen, kontinuierliches Monitoring auf Systemebene und eindeutig zugewiesene Verantwortlichkeiten. Kontrolle wird damit zunehmend zu einer Frage institutioneller und organisatorischer Gestaltung, nicht mehr primär zu einer Frage individueller Überprüfung einzelner Entscheidungen.
Genau an dieser Stelle beginnt eine Frage, die mich schon länger beschäftigt, nämlich wie sich Zusammenarbeit in Organisationen verändert, wenn KI-Systeme zunehmend eigenständig Entscheidungen treffen. AI Leadership kann unter diesen Bedingungen nicht bedeuten, jeden einzelnen Output zu prüfen, weil dies funktional dem Versuch entsprechen würde, als CEO jede einzelne E-Mail im Unternehmen freizugeben. Gleichzeitig kann Zusammenarbeit zwischen Mensch und Maschine aber auch nicht bedeuten, Verantwortung vollständig an Systeme zu delegieren. Die eigentliche Leadership-Aufgabe verschiebt sich deshalb auf eine andere Ebene, auf der wir Menschen entscheiden müssen, welche Aufgaben vollständig automatisiert werden dürfen, welche weiterhin menschliche Intervention erfordern und unter welchen Bedingungen Autonomie überhaupt zulässig ist.
Damit wird die Gestaltung von Entscheidungsarchitekturen zu einer zentralen Führungsaufgabe. Führung bedeutet dann nicht mehr primär, einzelne Entscheidungen zu treffen, sondern Entscheidungsräume zu definieren, in denen sowohl Menschen als auch KI-Systeme handeln. Dazu gehört etwa die Festlegung, welche Daten in Entscheidungsprozesse einfließen, welche Ziele ein System optimiert und welche Risiken als akzeptabel gelten. Auch wenn Entscheidungen zunehmend automatisiert entstehen, bleibt Verantwortung weiterhin organisational verankert.
Hier zeigt sich eine interessante Parallele zu meinem früheren Argument zur Mensch-KI-Kollaboration. Wenn KI tatsächlich zu einer aktiven Akteurin in Arbeitsprozessen wird, verändert sich nicht nur Technologie, sondern auch die Art und Weise, wie Organisationen strukturiert sind und wie Führung funktioniert. Viele aktuelle Debatten über KI-Governance bleiben jedoch erstaunlich vage. Begriffe wie „Human oversight“ oder der Mensch als „Dirigent“ klingen zunächst plausibel, sagen aber wenig darüber aus, wie Organisationen konkret mit KI-Systemen arbeiten sollen. Diese Vagheit ist vermutlich kein Zufall, weil die eigentliche Konsequenz der KI-Transformation unbequem ist: Kontrolle verschwindet nicht, aber sie wird indirekter und damit schwerer greifbar.
Organisationen müssen wohl lernen, mit einem neuen Kontrollparadox zu leben: Je autonomer Systeme werden, desto weniger kann Kontrolle auf der Ebene einzelner Entscheidungen stattfinden und desto wichtiger wird die Gestaltung der Systeme selbst. Der Satz „Human-in-the-loop ist tot“ greift deshalb letztlich zu kurz, weil der Mensch nicht aus dem Entscheidungsprozess verschwindet, sondern weil sich die Ebene verschiebt, auf der menschliche Steuerung stattfindet. Die eigentliche Herausforderung besteht darin, neue Formen von Verantwortung, Governance und Führung zu entwickeln, die zu hochautomatisierten sozio-technischen Systemen passen. Die spannende Frage lautet daher nicht, ob Human-in-the-loop abgeschafft wird, sondern wie Organisationen künftig so gestaltet werden können, dass Menschen und KI-Systeme tatsächlich gemeinsam Entscheidungen hervorbringen, ohne dass Verantwortung dabei diffundiert. Das mal konkret auszubuchstabieren wäre wichtig.
