18.08.2020 - Technische Universität Darmstadt

Der KI vertrauen, aber nicht blind

Künstliche Intelligenz stößt bisweilen auf Skepsis. Sie hat aber Vertrauen verdient

Ein Forschungsteam der TU Darmstadt um Professor Kristian Kersting beschreibt in der Zeitschrift „Nature Machine Intelligence“, wie dies gelingen kann – mit einem cleveren Ansatz des interaktiven Lernens.

Man stelle sich folgende Situation vor: Eine Firma möchte einer Künstlichen Intelligenz (KI) beibringen, auf Fotos ein Pferd zu erkennen. Dafür trainiert sie die KI mit mehreren Tausend Aufnahmen von Pferden, und zwar solange, bis die KI auch auf unbekannten Aufnahmen das Tier treffsicher identifizieren kann. Die KI lernt schnell – wie ihr die Unterscheidung gelingt, weiß die Firma nicht, aber das ist ihr egal. Sie ist begeistert, wie zuverlässig es klappt. Doch dann findet eine misstrauische Person heraus: Auf den Fotos stand unten rechts in der Ecke eine Copyright-Information mit einem Link auf eine Pferde-Seite im Internet. Die KI machte es sich also ziemlich einfach: Sie lernte, das Pferd nur anhand dieser Copyright-Angabe zu erkennen. Forscher sprechen in diesem Falle von Confounders – Störfaktoren, die mit der eigentlichen Identifizierung nichts zu tun haben sollten. In diesem Falle funktionieren sie, so lange die KI weitere vergleichbar Bilder erhält. Fehlt die Copyright-Angabe, ist die KI aufgeschmissen.

Verschiedene Studien haben in den letzten Jahren gezeigt, wie häufig solche Confounders in KI-Systemen vorkommen und wie man sie aufdeckt. Sie sind auch als Clever Hans-Phänomen in die Forschung eingegangen – benannt nach einem Pferd, das Anfang des vergangenen Jahrhunderts angeblich rechnen konnte, aber tatsächlich nur an der Körpersprache des Fragestellers die richtige Antwort ablas. „Eine KI, die als Clever Hans bezeichnet wird, lernt aus falschen Gründen die richtigen Schlüsse zu ziehen,“ sagt Kristian Kersting, Professor für künstliche Intelligenz und Maschinelles Lernen am Fachbereich Informatik der Technischen Universität Darmstadt. Es ist ein Problem, mit dem alle KI-Forscher konfrontiert werden – weshalb seit einigen Jahren auch der Ruf nach Erklärbarkeit von Künstlichen Intelligenz laut wird.

Kersting kennt die Folgen dieses Problems. Schon seit Jahren entwickelt der Forscher mit seinem Team KI-Lösungen, um die Resistenz einer Pflanze gegenüber Schädlingen zu bestimmen oder den Befall frühzeitig zu erkennen – noch bevor man ihn mit dem menschlichen Auge sehen kann. Voraussetzung für den Erfolg einer solchen Anwendung ist jedoch, dass die Experten in diesem Gebiet der KI tatsächlich vertrauen. Gelingt es nicht, dieses Vertrauen zu generieren, wenden sich die Experten von der KI ab – und verpassen damit die Chance, mit dieser Technik Pflanzen in Zeiten der Klimaerwärmung resistent zu gestalten.

Vertrauen muss man sich allerdings erst einmal verdienen. Und wie dies bei einer KI gelingt, stellt der Forscher mit seinem Team in einer aktuellen Publikation in der Zeitschrift „Nature Machine Intelligence“ vor: mit interaktivem Lernen. Gemeint ist die Einbindung von Fachleuten in den Lernprozess. Dafür müssen sie verstehen, was die KI tatsächlich macht. Genau genommen muss die KI Informationen über das aktive Lernen liefern, zum Beispiel, welche Informationen sie aus einer Trainingsinstanz wie dem Bild eines Pferdes herausnimmt, sowie eine Erklärung, wie sie aus dieser Information eine Voraussage ableitet. Menschen mit Fachexpertise können nun beides prüfen. Ist die Voraussage grundsätzlich falsch, kann die KI neue Regeln lernen. Sind Voraussagen und die Erklärung korrekt, müssen die Fachleute nichts tun. Ist die Voraussage jedoch korrekt, aber die Erklärung falsch, stehen sie vor einem Problem: Wie kann man einer KI vermitteln, dass die Erklärung falsch ist?

Dafür gibt es eine Strategie, die Forscher als explanatory interactive learning (XIL) bezeichnen. Vereinfacht ausgedrückt, gibt der KI-Experte einige Beispieldaten zurück, aus den hervorgeht, dass die angenommenen Unterscheidungsmerkmale keine Rolle spielen – und somit Confounders sind. Im eingangs erwähnten Beispiel würde die KI aufzeigen, dass sie die Copyright-Informationen für relevant hielt. Fachlich Versierte würden Bilder zurückspielen, in denen anstelle der Copyright-Information per Zufall andere Bildinformationen eingeblendet sind – die KI wird sie dann immer weniger berücksichtigen.

Das TU-Forschungsteam testete seine Methode anhand eines Datensatzes zur Cercospora-Blattfleckenkrankheit, eine weltweit verbreitete, schädliche Blattkrankheit an Zuckerrüben. Die KI – ein Deep Neural Network (DNN) – lernte zunächst, in hyperspektralen Daten sich auf Bereiche zu konzentrieren, die laut Pflanzenexpertin nicht ausschlaggebend sein konnten, um den Schädling zu identifizieren – obwohl die Voraussagen zuverlässig wirkten. Nach der Korrektur durch explanatory interactive learning (XIL) ging die Trefferquote zwar leicht zurück, aber die KI zog aus den richtigen Gründen die richtigen Schlüsse. Mit einer derartigen KI können die Expertin und der Experte arbeiten. Umgekehrt lernt die KI vielleicht langsamer, aber dafür liefert sie auf lange Sicht die verlässlicheren Voraussagen.

„Interaktion und Verständlichkeit sind für das Vertrauen in maschinelle Lernverfahren somit von zentraler Bedeutung“, sagt Kersting. Überraschenderweise wurde der Zusammenhang zwischen Interaktion, Erklärung und Vertrauensbildung in der Forschung weitgehend ignoriert – bislang.

Fakten, Hintergründe, Dossiers
  • künstliche Intelligenz
  • maschinelles Lernen
Mehr über TU Darmstadt
  • News

    „Grüne“ Katalysatoren

    Katalysatoren sind zentral für viele Industrieprozesse. Doch die häufig dafür verwendeten Übergangsmetalle sind selten, ihr Abbau ist umweltschädlich oder sie sind giftig. In der Arbeitsgruppe von Professor Bastian Etzold am Fachbereich Chemie der TU Darmstadt ist die Synthese makroskopisch ... mehr

    Effizienter kühlen

    Ein internationales Team der Universität Barcelona, des Helmholtz-Zentrums Dresden-Rossendorf (HZDR) und der Technischen Universität Darmstadt berichtet im Fachjournal Applied Physics Reviews, wie sich effizientere und umweltschonende Kälteverfahren künftig umsetzen lassen könnten. Dazu hab ... mehr

    Vom Treibhausgas zu wertvollen Grundchemikalien

    Für eine nachhaltige Wirtschaft der Zukunft ist die Umwandlung von Kohlendioxid in Kohlenwasserstoffe und andere Grundchemikalien von Bedeutung. Forscher der TU Darmstadt und des Helmholtz-Instituts Erlangen-Nürnberg für Erneuerbare Energien haben jetzt wesentliche Schritte der elektrochemi ... mehr

  • q&more Artikel

    Einsichten

    Eigentlich ist die Brennstoffzellentechnik schon „ein alter Hut“. Die erste Brennstoffzelle wurde von Sir William Grove 1839 entwickelt, der erste Brennstoffzellenstapel bereits 1842 der Öffentlichkeit präsentiert. Trotzdem verstaubte das innovative elektrochemische Konzept vorerst in der S ... mehr

    Makromolekulare Schlingpflanzen

    Eine Kurve, die sich mit konstanter Steigung um den Mantel eines Zylinders windet, wird als ­(zylindrische) Helix bezeichnet. Ihre Bildung kann man sich als eine Überlagerung einer Trans­lations- mit einer Rotations­bewegung vorstellen, wobei bei gleich bleibendem Rotationssinn ein Wechsel ... mehr

    Kohlenstoff in 1-D, 2-D und 3-D

    Das Element Kohlenstoff sorgt wie kein anderes ­Element des Periodensystems der Elemente seit­ ­nunmehr als 25 Jahren in regelmäßigen Abständen für intensive Forschungsaktivitäten. War es Mitte der 80er-Jahre die Entdeckung der gezielten Synthese der sphärischen Allotrope des Kohlenstoffs, ... mehr

  • Autoren

    Prof. Dr. Katja Schmitz

    Katja Schmitz, geb. 1978, studierte Chemie in Bonn und Oxford und fertigte nach dem Diplom­abschluss 2002 ihre Promotion über Peptide, Peptoide und Oligoamine als molekulare Transporter in der Arbeitsgruppe von Ute Schepers im Arbeitskreis von Konrad Sandhoff an der Universität Bonn an. 200 ... mehr

    Constantin Voss

    Constantin Voss, geb. 1985, studierte Chemie an der Technischen Universität Darmstadt mit dem Abschluss Diplom-Ingenieur. Seine Diplomarbeit mit dem Titel „Synthese von funktionali­sierten Distyrylpyridazinen für die Fluoreszenz­diagnostik“ fertigte er 2011 im Arbeitskreis Prof. Boris Schmi ... mehr

    Prof. Dr. Boris Schmidt

    Boris Schmidt, geb. 1962, studierte Chemie an der Universität Hannover und am Imperial College in London. Nach seiner Promotion 1991 an der Universität Hannover lehrte er bis 1994 am Uppsala Biomedical Centre und forschte zwischenzeitlich als DFG-Stipendiat im Rahmen eines Post-Doc-Aufentha ... mehr