Unsichtbare Eingaben: Voreingenommenheit in KI-Anwendungen im Gesundheitswesen untersuchen

Ablauf der Lektion

1. 1

   Schritt 1: Einführung

   Heute untersuchen Schüler*innen, wie KI-Systeme schädliche Fehler machen können, wenn sie mit verzerrten oder unvollständigen Daten arbeiten. Zunächst lernen sie Proxydaten kennen: Daten, die als Ersatz für etwas dienen, das schwerer zu messen ist. Anschließend analysieren sie einen realen Fall aus dem Gesundheitswesen. Darin verwendete ein Algorithmus Gesundheitskosten als Ersatz für den Versorgungsbedarf, was zu unfairen Ergebnissen für Schwarze Patient*innen führte.

   Die Schüler*innen schlüpfen in die Rolle von Personen, die Algorithmen entwickeln. Sie weisen verschiedenen Merkmalen von Patient*innen Werte zu und untersuchen, wie sich Designentscheidungen auf die Ergebnisse auswirken. Mit Ozobot und Farbcodes simulieren sie ihre vereinfachten Algorithmen anhand beispielhafter Patientenprofile und vergleichen die Ergebnisse. Abschließend überlegen sie, was diese Unterschiede über Fairness, Gerechtigkeit und die ethische Verantwortung beim Einsatz von KI für folgenschwere Entscheidungen, etwa im Gesundheitswesen, zeigen.

2. 2

   Schritt 2: Einstieg

   Führe die Schüler*innen in das Konzept der Proxy-Daten ein: Daten, die stellvertretend für etwas anderes verwendet werden, das sich schwerer messen lässt.

   Hinweis für die Lehrkraft (zum Vorlesen oder sinngemäßen Wiedergeben): KI verwendet häufig Proxydaten: Daten, die als Ersatz für etwas dienen, das schwerer zu messen ist. Das liegt daran, dass direkte Messwerte nicht immer verfügbar sind. Proxydaten können nützlich sein, aber auch zu Verzerrungen führen. Wenn wir verstehen, wie Proxydaten funktionieren, verstehen wir besser, was in einem KI-System passiert und warum Designentscheidungen einen so großen Einfluss auf die Fairness haben.

   Schritt 1 – Teile Arbeitsblatt 1 aus und lass die Schüler*innen zu zweit oder in kleinen Gruppen die Aufgabe „Erkundung: Was ist der Proxy?“ bearbeiten. Bei jedem Szenario bestimmen sie, welche direkten Daten fehlen und welche Proxydaten stattdessen verwendet werden.

   Schritt 2 – Besprecht die Aufgabe kurz gemeinsam. Mögliche Fragen:

   • Welche Proxydaten waren am irreführendsten?
   • Welche Risiken und Vorteile hat die Verwendung von Proxydaten?
   • Wie können wir sicherstellen, dass Proxydaten zu fairen und ethisch vertretbaren Ergebnissen führen?

   Schritt 3 – Gib einen Ausblick auf den nächsten Schritt. Erkläre, dass KI-Systeme wie das System, das die Schüler*innen als Nächstes untersuchen, stark auf Proxydaten angewiesen sind. Sie suchen häufig nach Mustern in Daten und nutzen Ersatzdaten, um Entscheidungen zu treffen. Im nächsten Schritt analysieren die Schüler*innen einen realen Fall, in dem ein Algorithmus im Gesundheitswesen Proxydaten verwendete, die zu ungleichen Ergebnissen führten.

3. 3

   Schritt 3: Erkunden

   Schritt 1 – Teile die Fallstudie aus und lass die Schüler*innen sie allein oder zu zweit lesen. Besprecht anschließend die Übersicht mit beispielhaften Patient*innen, um das Verständnis zu fördern und das Gespräch anzuregen.

   Schritt 2 – Lass die Schüler*innen zu zweit oder in Kleingruppen die folgenden Fragen zum Fall besprechen. Du kannst dafür auch ein sokratisches Gespräch, ein Klassengespräch oder eine andere strukturierte Gesprächsform wählen.

   • Warum erschienen frühere Gesundheitsausgaben möglicherweise als sinnvolle Grundlage, um den künftigen Versorgungsbedarf vorherzusagen? Welche wichtigen Unterschiede blieben durch diese Proxy-Daten unberücksichtigt?
   • Die Entwickler*innen des Algorithmus wollten niemandem schaden. Macht das das Ergebnis weniger problematisch? Warum oder warum nicht?
   • Wer sollte für die Behebung dieses Problems verantwortlich sein: die Entwickler*innen des Algorithmus, die Krankenhäuser, die ihn verwenden, oder die Aufsichtsbehörden?
   • Welche anderen Proxy-Daten erscheinen vielleicht sinnvoll, könnten aber dennoch zu Verzerrungen führen, etwa im Bildungswesen, bei Bewerbungen oder in der Strafjustiz?
   • Sollten wir KI für folgenschwere Entscheidungen einsetzen, etwa im Gesundheitswesen? Wie stellen wir sicher, dass KI hilft, statt zu schaden?

   Schritt 3 – Besprich die ethischen Abwägungen anschließend mit der ganzen Klasse. Bereite die Schüler*innen so darauf vor, einen eigenen Algorithmus zu entwerfen, den sie ethisch besser vertretbar finden und dessen Entscheidungen sich besser begründen lassen.

4. 4

   Schritt 4: Erklärung

   Schritt 1 – Verteile Arbeitsblatt 2 (Tabelle: Daten bewerten).

   Erkläre, dass die Schüler*innen entscheiden müssen, wie stark jedes Datenmerkmal die Punktzahl einer Patientin oder eines Patienten beeinflusst. Sie bestimmen, ob das Merkmal die Wahrscheinlichkeit erhöht, verringert oder nicht beeinflusst, dass die Person zusätzliche Versorgung erhält.

   Schritt 2 – Die Schüler*innen betrachten bei jedem Merkmal:

   • Was das Merkmal misst
   • Warum es verwendet werden könnte
   • Warum es irreführend oder unfair sein könnte

   Schritt 3 – Erkläre, dass die Schüler*innen jedem Merkmal einen Wert zuweisen. Dieser Wert gibt an, wie stark das Merkmal die Entscheidung beeinflussen soll, ob eine Person zusätzliche Versorgung erhält. Verwende dieses System:

   • +1 = Dieses Merkmal erhöht den Bedarf einer Person an zusätzlicher Versorgung.
   • –1 = Dieses Merkmal verringert den Bedarf einer Person an zusätzlicher Versorgung.
   • 0 = Dieses Merkmal hat keinen eindeutigen Einfluss auf den Bedarf einer Person an zusätzlicher Versorgung.

   Die Schüler*innen tragen ihre Werte in die letzte Spalte der Tabelle ein. Betone, dass es nicht immer nur eine „richtige“ Antwort gibt. Entscheidend ist, wie sie ihre Entscheidungen begründen.

   Schritt 4 – Lass die Schüler*innen kurz aufschreiben, wie ihr Algorithmus Fairness berücksichtigt und warum sie die Merkmale auf diese Weise gewichtet haben.

5. 5

   Schritt 5: Vertiefen

   Schritt 1 – Lass die Schüler*innen ihren Ozobot einschalten. Wenn sie mit Ari arbeiten, lass sie die App Color Codes öffnen.

   Schritt 2 – Gib den Schüler*innen jeweils eine Beispielpatientenkarte und ein leeres weißes Blatt Papier. Arbeitsblatt 3 und die zugehörige Beispiellösung sind optional: Die Schüler*innen können sie als Vorlage nutzen, wenn sie ihre eigene Strecke auf Papier entwerfen. Erkläre, dass sie testen, ob ihr Algorithmus fair und ethisch vertretbar ist. Dazu entwerfen sie eine Strecke mit Farbcodes und Punktezählern, die den Versorgungsbedarf ihrer Patient*innen bewertet (1 Punkt = höherer Versorgungsbedarf).

   Die Schüler*innen entwerfen eine Strecke, auf der der Roboter einer Linie folgt, mit:

   • einem klaren Startpunkt
   • 8 beschrifteten Entscheidungspunkten, je einem für jedes Datenmerkmal, an denen sie mithilfe von Punktezählern Punkte vergeben (zum Beispiel: viele Besuche in der Notaufnahme = +1 Punkt).
   • einem Endpunkt, der den endgültigen Risikowert anzeigt

   Schritt 3 – An jedem Entscheidungspunkt setzen die Schüler*innen ihren Algorithmus in Farbcodes um:

   • Die Werte +1, 0 und –1 werden durch Farbcodes dargestellt, die Geschwindigkeit oder Richtung ändern.
   • Diese sichtbaren Veränderungen zeigen, wie sich der Wert für Patient*innen bei jedem Datenmerkmal ändert.

   Schritt 4 – Die Schüler*innen lassen ihren Ozobot der Strecke folgen und:

   • beobachten, wie ihr KI-Modell bei verschiedenen simulierten Patientenprofilen funktioniert.
   • ändern die Werte bestimmter Merkmale, um zu untersuchen, wie sich das auf den Gesamtwert auswirkt.
   • bereiten sich darauf vor, ihre Ergebnisse mit Mitschüler*innen zu besprechen, die dasselbe Patientenprofil analysiert haben.

   Schritt 5 – Lass die Schüler*innen ein oder zwei Mitschüler*innen finden, die dasselbe Patientenprofil analysiert haben. Sobald sie Gruppen von 2–3 Schüler*innen mit demselben Patientenprofil gebildet haben, besprechen sie ihre Ergebnisse.

   • Wo stimmten unsere Ergebnisse für dieses Patientenprofil überein, und wo unterschieden sie sich?
   • Welche Entscheidungen bei der Punktevergabe führten zu diesen Unterschieden? Welche Folgen könnten diese Unterschiede für die Versorgung haben, die diese Person erhält oder nicht erhält?
6. 6

   Schritt 6: Auswerten

   Lass die Schüler*innen zum Abschluss kurz festhalten, was sie über Designentscheidungen bei KI und deren ethische Folgen gelernt haben.

   Du kannst die Antworten schriftlich einsammeln oder die Schüler*innen ihre Antworten kurz mündlich vorstellen lassen.

   Was hast du beim Entwickeln und Testen deines eigenen Algorithmus darüber gelernt, wie Designentscheidungen zu unfairen Ergebnissen führen können? Was zeigt das über unsere Verantwortung, wenn wir KI für weitreichende Entscheidungen einsetzen, etwa im Gesundheitswesen?

   Was sollten Entwickler*innen von KI deiner Meinung nach anders machen, um eine gerechte Gesundheitsversorgung für alle Patient*innen sicherzustellen?