Das wird nie funktionieren: die KI-Vertrauenslücke

Bei einem US-amerikanischen Automobilhersteller war unser schärfster Kritiker der beste Ingenieur im Haus. Ein führender Crash-Experte: explizite dynamische Simulation, LS-Dyna, eine ganze Karriere auf der Beherrschung dieses Werkzeugs aufgebaut. Als wir begannen, Agenten für seine Simulationen zu entwickeln, war er, sagen wir, höflich skeptisch. Und er hatte Argumente: Immer wieder fand er Grenzfälle, mit denen die Agenten nicht zurechtkamen. Sein Urteil war unmissverständlich. Das wird nie funktionieren.

Mit den Grenzfällen hatte er recht. Mit seiner Schlussfolgerung lag er falsch, allerdings nur, weil wir als Nächstes etwas anderes taten. Wir haben ihn nicht umgangen. Wir haben ihn in den Bau einbezogen. Er hat den Agenten selbst mitgebaut, und wir haben ihn genau dort eingebunden, wo sein Urteilsvermögen weiterhin gefragt war. Jedes Mal, wenn er einen Fall löste, floss dieser Fall zurück in den Agenten. Stück für Stück verdiente sich das System sein Vertrauen, nach seinen eigenen Maßstäben.

Irgendwo in diesem Prozess kippte seine Haltung. Er hatte seine Expertise nicht verloren. Er hatte sie vervielfacht. Statt persönlich eine feste Zahl an Crash-Simulationen pro Woche zu fahren, besaß er nun ein System, das sein Urteilsvermögen in großem Maßstab trug. Mehr Wirkung, nicht weniger. Das ist die ganze Geschichte davon, agentische KI über den Pilotversuch hinauszubringen, verdichtet auf einen einzigen Ingenieur: Vertrauen wird nicht gewährt, es wird verdient.

Ich glaube, Gartner^® macht in seiner Studie AI Agent Promise vs. Reality von September 2026 denselben Punkt: Autonomie muss sich durch Zuverlässigkeit verdienen. Nach rund dreißig solcher Einführungen in den letzten achtzehn Monaten würde ich es deutlicher sagen. Fast nie war die Technologie ausschlaggebend dafür, ob ein Projekt den Produktivbetrieb erreichte. Es war das Vertrauen.

Wohin die Reise wirklich geht

Lassen Sie mich einen Schritt zurücktreten, denn das Ziel zählt. Worauf die gesamte Branche eigentlich hinarbeitet, ist eine Art JARVIS für das Engineering: ein universeller, immer verfügbarer Kollege, mit jedem Werkzeug verbunden, dem Wissen jedes Experten digitalisiert, dem Sie echte Arbeit übergeben und auf dessen Ergebnis Sie sich verlassen können. Ein System, das Fragen zum Engineering nicht nur beantwortet, sondern Engineering tatsächlich betreibt.

Und die Fähigkeiten dafür kommen schnell. Die führenden KI-Labore bewegen sich direkt in dieses Feld, und sie sagen das öffentlich. Der Launch von OpenAIs GPT-6 Astra hat Engineering direkt in die Produktankündigung aufgenommen: ein CAD-Benchmark, bei dem das Modell 3D-Teile als CAD-Code rekonstruiert, eine Leiterplatte, die in KiCad entworfen und verdrahtet wird, eine Getriebe-Demo. Anthropic berichtet über eigene Modelle auf demselben CAD-Benchmark. CAD und räumliches Arbeiten stehen inzwischen auf den eigenen Scorecards der Labore. Standards wie MCP vereinheitlichen, wie Agenten auf Werkzeuge zugreifen. Enorm viel Geld und Talent fließt in dieses Feld, und Engineering ist eine große Marktchance, die die Labore erkennbar gewinnen wollen. Die Modelle werden weiter leistungsfähiger, und das Tempo nimmt zu.

Deshalb möchte ich, dass sich jede Engineering-Führungskraft Folgendes einprägt: Die Frage war nie, ob die Technologie bereit sein wird. Das wird sie. Die eigentliche Frage ist, wann sie im großen Maßstab zum Einsatz kommt, und das einzige Tor dorthin ist Vertrauen.

Warum die Demo der einfache Teil ist

Die Erwartungen sind riesig, ehrlich gesagt übertrieben: eine Anforderung einfügen, einen Knopf drücken, ein fertiges Bauteil kommt heraus. So eine Demo ist nicht schwer herzustellen. Die Realität eines Produktivsystems ist ungleich komplexer, und die Lücke zwischen beidem dreht sich fast ausschließlich darum, ob man dem Ergebnis vertrauen kann.

Ein Pilotprojekt kann wunderschöne, bunte Bilder eines Bauteils erzeugen. Ob dieses Bauteil real ist, ist eine ganz andere Frage: Man muss die Netzqualität prüfen, die Randbedingungen, die Spannungsergebnisse, die Toleranzen, jedes Detail, das eine erfahrene Ingenieurin vor ihrer Unterschrift kontrollieren würde. In einem echten Unternehmen kommen außerdem Governance, Zugriffsrechte, Dutzende Werkzeuge und Jahrzehnte an Expertise hinzu, die alle miteinander verbunden sein müssen. Nichts davon geht per Knopfdruck. Und das zu überspringen ist nicht nur enttäuschend, es ist gefährlich: Eine Engineering-Entscheidung auf Basis eines plausibel aussehenden, aber falschen Ergebnisses ist schlimmer als gar keine Entscheidung.

Woher Zuverlässigkeit wirklich kommt

Der Weg dorthin führt über eine Architektur, die abbildet, wie Ihre Ingenieurinnen und Ingenieure bereits arbeiten. Teilen Sie das System in zwei Teile.

Die Werkzeugebene ist deterministisch, und das muss sie auch sein. Ein CAD-Modell bereinigen, ein Netz erzeugen, eine explizite dynamische Simulation ausführen, Spannungswerte auslesen: Das ist Physik in Software. Sie muss jedes einzelne Mal korrekt sein, genau wie bevor es überhaupt einen Agenten gab. Nichts Probabilistisches gehört dort hinein.

Die agentenbasierte Ebene darüber ist das Urteilsvermögen: Orchestrierung, die Entscheidung über den nächsten Schritt, das Interpretieren von Ergebnissen, die Übergabe der Arbeit zwischen den Schritten. Die Parallele zu Ihren Mitarbeitenden ist exakt. Eine Ingenieurin baut die Geometrie in CAD auf, startet den Solver, liest die Spannungswerte und entscheidet, was geändert wird. Das Werkzeug war immer deterministisch, das Urteilsvermögen war immer ihres. Agentische KI automatisiert das Urteilsvermögen und die Steuerung der Werkzeuge, sie übernimmt nicht die Physik und darf es auch nicht. Wenn eine Engineering-Führungskraft fragt, ob sie einem Agenten eine Crash-Simulation anvertrauen kann, lautet die Antwort genau so: Der Agent übernimmt nicht die Physik. Das tut weiterhin Ihr validierter Solver.

Vertrauen lässt sich konstruieren, und das geht schneller, als Sie denken

Eine korrekte Simulation ist notwendig, aber nicht ausreichend. Das gesamte System muss sich Vertrauen verdienen, genauso wie es sich das Vertrauen jenes Crash-Experten verdienen musste: Evals, den agentenbasierten Prozess parallel zum manuellen laufen lassen, Fall für Fall prüfen, bis genug Korrektheit nachgewiesen ist, um den alten Weg abzulösen, dazu Audit-Trails und menschliche Prüfung dort, wo Urteilsvermögen gefragt ist. Das ist echte Ingenieurarbeit, kein Schalter, den man umlegt.

Das Ermutigende daran: Mit dem richtigen Anwendungsfall und dem richtigen Partner geht es schnell. Wochen bis Monate. Das System lässt sich schnell kaufen und aufbauen. Was Sie nicht kaufen und nicht abkürzen können, ist das Tempo, in dem Ihre Organisation ihre Arbeitsweise ändert.

Der eigentliche Engpass sind Ihre Mitarbeitenden: Deshalb starten Sie jetzt

Ihre besten Ingenieurinnen und Ingenieure sind Experten darin, ein Werkzeug zu bedienen. Mit agentischer KI verschiebt sich ihre Rolle: weg vom Bedienen des Werkzeugs, hin zum Bauen und Beaufsichtigen der Agenten, die es bedienen, vom Ausführen von Simulationen hin zum Einschreiben ihres Urteilsvermögens in ein System, das sie ausführt. Für jemanden, dessen Karriere darauf aufgebaut ist, die Person zu sein, die das Werkzeug beherrscht, kann sich das anfühlen, als würde der Boden wanken. Der Crash-Experte hat das gespürt. Die meisten Ihrer besten Leute werden es auch spüren.

Dieser Wandel läuft auf menschlicher Zeit, und er ist der kritische Pfad, nicht die Technologie. Die Modelle werden schneller besser, als jede Organisation sie aufnehmen kann. Auf ein besseres Modell zu warten, optimiert also genau das eine, was nie Ihre Einschränkung war. Fangen Sie jetzt an, mit einem echten Anwendungsfall, und binden Sie Ihre Expertinnen und Experten als Mitgestalter ein, nicht als Zuschauer. So verdienen Sie sich Vertrauen, bevor Sie es im großen Maßstab brauchen.

Wie das im Produktivbetrieb aussieht

Einige Beispiele aus unseren Einführungen, in unterschiedlichen Phasen:

• IMS Gear: Eine Angebotsanfrage, die zuvor mehrere Wochen dauerte, ist heute in rund zehn Minuten ein fertiges Angebot, mit über hundert im Produktivbetrieb bearbeiteten Angeboten. Ein Daten-Agent ordnet eingehende PDF- und CAD-Dateien in das PDM-System (Produktdatenmanagement-System) ein, regelbasierte Workflows wenden die eigenen Kalkulationstabellen von IMS Gear an, ein Supervisor leitet jede Anfrage an einen Fach-Agenten für Kunststoff, Metall oder Industrie weiter, der Details mit der Ingenieurin klärt und das Angebot zusammenstellt. Das große Sprachmodell interpretiert, die Regeln entscheiden. Die Ingenieurinnen und Ingenieure haben es selbst gebaut, über vier validierte Iterationen hinweg, bevor es live ging. Das Volumen, für das zuvor zwei Ingenieurinnen und Ingenieure nötig waren, bewältigt heute eine Person.
• SEAT: Workflows für die Karosserieentwicklung im Produktivbetrieb verkürzen Prozesse von Stunden auf Minuten, und ein neues System zur Fertigungsmachbarkeit soll eine erste Einschätzung in rund dreißig Minuten statt vier Wochen liefern. Deterministische Workflows übernehmen Geometrieextraktion und Umformsimulationen, Agenten werten die Ergebnisse aus und melden Probleme, der Ingenieur entscheidet über die nächsten Schritte.
• NASA: Ryan McClelland vom NASA Goddard Space Flight Center hat das öffentlich in seiner CDFAM-Keynote 2026 beschrieben. Sein Team nutzt Synera, um agentenbasierte Systeme für die Präzisionstechnik zu bauen, einen „Text to Bipod Flexures“-Aufbau, bei dem ein Supervisor einen CAD-Design-Agenten und einen Simulations-Agenten für Spannungs-, Modal- und Thermoanalyse koordiniert, ergänzt durch einen Logging-Agenten, dem er die Zuverlässigkeit zuschreibt. Arbeit, die Monate dauerte, endet in einem Bruchteil der Zeit in einem Verifizierungsbericht. Sein Vorgehen ist das Argument dieses Artikels, erzählt von einem NASA-Ingenieur: Eingaben und Ausgaben standardisieren, den Prozess dokumentieren, automatisieren, mit Evals verifizieren, dann skalieren. Er sagt offen, dass Details wie Klebstoffe und Ausrichtung weiterhin einen Menschen brauchen, und genau das ist der Punkt. Der Agent übernimmt Urteilsvermögen und Orchestrierung, die validierten Engines erledigen die Physik.

Fangen Sie mit dem langsamen Teil an

Wenn Sie nur eine Entscheidung aus diesem Artikel mitnehmen, dann diese: Behandeln Sie den organisatorischen Wandel als das eigentliche Projekt und die Technologie als Ermöglicher, nicht umgekehrt. Die Zuverlässigkeit lässt sich konstruieren, schneller, als die meisten erwarten. Das Vertrauen muss Fall für Fall verdient werden, ausgerechnet von den Expertinnen und Experten, die sich am stärksten dagegen wehren, und genau diesen Teil wird Ihnen kein besseres Modell abnehmen. Die Zukunft, auf die alle zusteuern, ist real, und sie kommt. Sie wird den Organisationen gehören, die heute begonnen haben, sich Vertrauen zu verdienen.

Wer tiefer verstehen will, warum Demos vor dem Produktivbetrieb ins Stocken geraten und was die Lücke schließt: Laden Sie die Gartner-Studie zu Einführung, Herausforderungen und Unternehmensreife von KI-Agenten herunter.

‍

Gartner ist eine Marke von Gartner, Inc. und/oder deren verbundenen Unternehmen.

Gartner, KI-Agenten Versprechen vs. Realität: Einführung, Herausforderungen und Unternehmensreife, von Leinar Ramos, Ben Yan, Anthony Mullen, Arun Chandrasekaran, Tom Coshow, Tong Zhang, Pieterden Hamer, Haritha Khandabattu, Erick Brethenoux, Gabriele Rigon, 28.09.2026.