Artificial Intelligence. Foto: geraltpixabay

Online-Vortrag

Eine Online-Veranstaltung von acatech mit der vhs Wissen live befasste sich mit den Fehlern, die durch Software und KI, also Maschinen und menschlichen Fehlern in unserem technologischen Zeitalter auftreten und beim Nutzen von KI bedacht werden müssen.

Sind wir in ein neues Zeitalter technologischer Fehler eingetreten? Das war die Frage, der sich Marina Keßler von der TU Darmstadt in ihrem Vortrag stellte. Die Professorin für Technikgeschichte und Autorin des Buches „Sisiphos im Maschinenraum“ bezog sich auf den International AI Safety Report 2026, wo es um Risiken, Kontrollverlust und Nichtfunktionieren von KI ging, was etwa zu Fehlern und falschen Ratschlägen im medizinischen Bereich geführt habe.

„Es ist eine Error Philosophie nötig“, forderte sie. Neu ist das Problem nicht. Jeder kenne das, wenn bei Power Point Präsentationen die Technik nicht funktioniere. „Müssen wir also zu Experten des Nichtwissens werden?“, fragte sie. Die Diskrepanz zwischen enormem technologischem Fortschritt und gleichzeitiger Fehlerhaftigkeit, insbesondere nichtfunktionierender Software, sei schon lange bekannt. Die Vortragende brachte folgendes Beispiel: 2024 waren zwei US-amerikanische Astronauten zur ISS-Raumstation geflogen, wo sie acht Tage bleiben sollten. Wegen Fehler im System konnten sie erst nach neun Monaten zur Erde zurückkehren. Die NASA habe mitgeteilt, dass das Risiko einer früheren Rückkehr zu groß gewesen sei und darauf verwiesen, dass die beiden Astronauten gut gelaunt seien und dass es keine Probleme gegeben habe. Mit technologischen Überraschungen müsse man leben, sagte Martina Keßler, indes sei die Fehlerhaftigkeit von Software auf eine neue Stufe gekommen. Komplexe Software sei unzuverlässig und das verschwinde auch nicht mit neuen Technologien.

„Computer sind nicht unfehlbar“

Deshalb sei auch die Zuverlässigkeit von KI nicht garantiert. Die Bundesregierung habe dies bereits 1989 konstatiert. „Computer sind nicht unfehlbar“, betonte die Rednerin. Sie erinnerte an den Millenium Bug, der zu apokalyptischen Warnungen geführt habe. Wegen zu teurer Speicherplatz hatte die Computerwelt Daten unter etwa 10/23/63 anstatt unter 10/23/1963 abgespeichert. Die Frage sei gewesen, wie die Computersysteme den Sprung von 99 auf 00 meistern. „Niemand wusste, was passiert, aber es geschah fast nichts“, sagte Martina Keßler und setze fort: „Die Welt ist voller Software, deren Verhalten nicht einschätzbar ist.“

Der Post Office-Skandal in Großbritannien hatte mehrere Folgen für Menschen und Maschinen. In den Jahren 1999 bis 2015 wurde 3500 Filialleitern von lokalen Postämtern Betrug vorgeworfen, 900 wurden verurteilt, 236 kamen ins Gefängnis, vier begingen Suizid. „Aber es war die fehlerhafte Software Horizon schuld“, konstatierte Martina Keßler. So etwas sei nicht ungewöhnlich. Sie betonte, dass es verschiedene Formen des Nichtwissens gebe.

Undurchschaubarkeit der Systeme

Zum einen seien Hotlines hilflos, zum anderen seien User ohnmächtig ausgeliefert und würden sich oft Fehler selbst zuschreiben. Es brauche ein recht auf Nachprüfbarkeit. Dies war im Fall des Skandals in Großbritannien nicht gegeben, die Angeklagten hätten ihre Unschuld beweisen müssen. „Es ist naiv zu glauben, dass Technik keine Fehler macht“, konstatierte die Technikhistorikerin.

Laien könnten Fehler in der Software nicht erkennen, Softwareentwickler allerdings auch nicht immer. Schon 1972 habe der Informatiker Joseph Weizenbaum von der Undurchschaubarkeit der Systeme gewarnt. Darüber müsse die Öffentlichkeit aufgeklärt werden. Sind wir also Experten des Nichtwissens?, fragte resümierend Martina Keßler und antwortete: Jein. Man bediene sich der Bricolage, also dem Heimwerken mit Basteln, Ausprobieren und routiniertem Werkeln ohne Verstehen.

Technology. Foto: tungnguyenpixabay

„Wir sind keine Experten“, konstatierte sie. Die größten Herausforderungen im Umgang mit der KI seien die Unvermeidbarkeit von Fehlern und die mangelnde Transparenz. Das Ergebnis seien Halluzinationen, „ein bisschen wahr, ein bisschen falsch oder vollständig erfunden“. Sie zitierte das Beispiel einer Genetikerin, die aufgrund einer falschen Voraussage eine falsche Therapie anwandte. Die technologische Komplexität erfordere erhöhte Wachsamkeit, man müsse die KI und deren Fehler verstehen lernen, forderte sie. Dabei aber sei derzeit das Vertrauen in die KI erstaunlich hoch. Laut einer Studie überprüfen 70 Prozent der Befragten nicht die Ergebnisse der KI.

Zum Weiterlesen: Sind KI-Systeme intelligent?