Entscheidungen mit Bilderkennung treffen

Ablauf der Lektion

1. 1

   Schritt 1: Einführung

   In dieser Lektion untersuchen Schüler*innen, wie ein Roboter mithilfe von Bilderkennung Entscheidungen treffen kann. Die Kamera wird über einer T-förmigen Strecke platziert. Dort muss Ozobot entscheiden, ob er nach links oder rechts abbiegt, um ein bestimmtes Ziel zu erreichen. An die beiden Enden des T legen die Schüler*innen unterschiedliche Bilder, zum Beispiel eine Katze und einen Hund, 1 € und 10 € oder 1⁄2 und 1⁄4. Auf dem Bogen mit den Zielbildern sind Dollarscheine ($ 1 und $ 10) abgebildet; die Zeichnungen bleiben unverändert. Verwende sie als 1 € und 10 €.

   Die Schüler*innen erstellen ein Programm mit dem LLM-Block, das die Strecke „ansieht“, erkennt, auf welcher Seite sich das gewünschte Ziel befindet, und den Roboter anschließend mit Linienfolgeblöcken in die richtige Richtung fahren lässt. Diese Aktivität zeigt, wie KI-Systeme Entscheidungen treffen und wie Bilderkennung dabei helfen kann.

2. 2

   Schritt 2: Erklärung

   Bei der Bilderkennung nutzt ein Computer oder Roboter eine Kamera, um Bilder zu sehen und zu verstehen. Das ähnelt der Art, wie unsere Augen Informationen an unser Gehirn weitergeben.

   Zeige den Schüler*innen die Kamera über dem Arbeitsblatt und die zwei deutlich unterschiedlichen A/B-Zielbilder an den Enden der T-förmigen Strecke, zum Beispiel eine Katze und einen Hund. Anhand dieser Zielbilder muss Ozobot an der Kreuzung entscheiden, in welche Richtung er fährt.

   Führe den Ablauf vor:

   1. Die Kamera erfasst das gesamte Arbeitsblatt. Prüfe, ob alles sichtbar ist und die Pfeile nach oben zeigen.
   2. Der Ozobot Editor zeigt eine Live-Vorschau des Kamerabilds.
   3. Ein LLM-Block im Programm sendet das Bild zur Analyse an die KI.
   4. Du gibst eine Frage ein, zum Beispiel: „In welche Richtung muss ich fahren, um zum Hund zu kommen?“
   5. Das LLM gibt eine Antwort. Dein Programm nutzt diese Antwort, damit der Roboter in die richtige Richtung abbiegt.
   6. ACHTUNG: Das KI-Tool überwacht das Kamerabild nicht ständig. Es nimmt nur ein einzelnes Standbild auf, wenn der LLM-Block ausgeführt wird.

   Beispiele für Paare von A/B-Zielbildern sind zwei Tiere, zwei Formen oder zwei Farben, unterschiedliche Brüche, unterschiedliche Geldbeträge oder sogar ein richtig und ein falsch geschriebenes Wort.

3. 3

   Schritt 3: Vorbereitung

   Zeige den Schüler*innen, wie sie ihren Roboter und die Kamera mit dem Ozobot Editor verbinden:

   Mit Evo: Schalte Evo ein und klicke auf Geräte > +Evo.

   Mit Ari: Schalte Ari ein und öffne die Blockly-app im Ordner Informatik. Klicke im Editor auf Geräte > +Ari.

   Kamera: Schließe die Kamera an das Gerät an, mit dem du programmierst. Wir empfehlen eine USB-Dokumentenkamera, die an einen Laptop angeschlossen ist. Klicke im Editor auf +Camera und wähle deine Kamera aus der Liste aus.

   Richte die Kamera auf dein Arbeitsblatt, sodass die Pfeile nach oben zeigen. Sieh dir die Kameravorschau im Editor an und prüfe, ob das Bild der Ansicht entspricht, die die Schüler*innen auf das Blatt vor sich haben. Falls nicht, drehe das Blatt oder ändere den Winkel oder die Position der Kamera, bis links und rechts übereinstimmen.

   Die Schüler*innen müssen außerdem das LLM hinzufügen. Dazu wählen sie Geräte > LLM_Bot. Im Dropdown-Menü können sie zwischen verschiedenen Modellen von OpenAI und Gemini wählen. Für diese Lektion verwenden wir das Standardmodell.

   Die Schüler*innen schneiden die Bilder aus dem Bogen mit den A/B-Zielbildern aus.

4. 4

   Schritt 4: Programmieren

   Geht gemeinsam dieses Beispielprogramm mit Blöcken aus Level 5 durch. (Freigabecode: aq626ec)

   1. Setze an den Anfang des Programms einen Block Folge der Linie bis zur nächsten Kreuzung oder bis zum Linienende. So fährt Ozobot vom Start zur Kreuzung.
   2. Füge den Block Richtung wählen hinzu und entferne den damit verbundenen Block, der eine Richtung festlegt.
   3. Füge dem Block Richtung wählen einen LLM-Block hinzu. Aktiviere im Block „Kamera“ und stelle den Ausgabetyp auf Richtung. So kann die Antwort auf unsere Frage dem Programm sagen, ob es nach „links“ oder „rechts“ gehen soll.
   4. Füge zum Schluss am Ende des Programms einen Block Folge der Linie bis zur nächsten Kreuzung oder bis zum Linienende hinzu, damit Ozobot zum gewünschten Ziel fährt.
5. 5

   Schritt 5: Ausführen und Probleme beheben

   SCHRITT 1: Zielbilder auswählen

   1. Die Schüler*innen wählen ein Paar A/B-Zielbilder aus den Beispielen aus oder erstellen selbst eines.
   2. Erinnere sie daran, dass das LLM nicht jede Art von Bild zuverlässig analysieren kann, besonders wenn die Schüler*innen die Bilder selbst erstellt haben. Achte deshalb auf deutliche Unterschiede und leicht erkennbare Bilder.

   SCHRITT 2: Die Frage formulieren

   1. Jedes Mal, wenn die Schüler*innen das Programm ausführen, formulieren sie eine klare Frage, die zu ihren ausgewählten A/B-Zielbildern passt.
   2. Die Formulierung hängt davon ab, welche Bilder sie auf die Strecke legen.
   3. Beispielfragen: In welche Richtung muss ich fahren, um zum größten Bruch zu kommen? In welche Richtung muss ich fahren, um zu den 10 € zu kommen? In welche Richtung muss ich fahren, um zum richtig geschriebenen Wort zu kommen?

   SCHRITT 3: Vorbereiten und ausführen

   1. Positioniere die Kamera so, dass das Arbeitsblatt aufrecht liegt, die Pfeile nach oben zeigen und es vollständig zu sehen ist.
   2. Lege die Zielbilder auf die Felder A und B an den Enden der T-förmigen Strecke.
   3. Setze Ozobot an den Start und führe das Programm aus.
   4. Beobachte, ob Ozobot zum gewünschten Ziel abbiegt.

   Funktioniert es nicht wie vorgesehen? Sieh dir die Frage noch einmal an und prüfe, ob sie klar formuliert ist. Prüfe auch, ob der Aufbau alle Anforderungen erfüllt. Ändere, was nötig ist, und teste erneut.

6. 6

   Schritt 6: Abschluss

   Frage die Schüler*innen:

   1. Woher wusste der Roboter, in welche Richtung er fahren musste?
   2. Welche Rolle spielten die Kamera und das LLM bei der Entscheidung?
   3. Wie könnte das bei Robotern in der Praxis eingesetzt werden, zum Beispiel bei Lieferrobotern oder selbstfahrenden Autos?

   Abschlusszettel: Schreibe ein Beispiel für eine Alltagssituation auf, in der ein Roboter anhand dessen, was er sieht, eine Entscheidung treffen muss.