Das „Selbstlernender Air Hockey Roboter“-Projekt

Einem Roboter das Air-Hockey-Spielen beizubringen ist ein aufwändiges und kompliziertes, aber keinesfalls unmögliches, Vorhaben. Mit Hilfe von Algorithmen aus dem Bereich des Maschinellen Lernens ist es dem Control Engineering Team gelungen einen Air-Hockey-Roboter zu entwickeln, der aus den Aktionen des menschlichen Gegenspielers lernt und auf Grundlage dieser Erfahrungswerte sich in jedem Augenblick selbstständig für die beste Spielstrategie entscheidet.

Das Funktionsprinzip des Roboters fußt auf den fest einprogrammierten Taktiken Verteidigen, Angreifen, Kontern und Warten. Mit diesen Modi und einer übergeordneten Logik ist der Roboter zwar schon in der Lage gegen einen menschlichen Gegenspieler anzutreten, aber bei genügend langer Spieldauer erkennt ein menschlicher Gegner schnell die Schwachstellen des Roboters. Um genau diesen Prozess des Kennenlernens auch dem Roboter zugänglich zu machen, wird auf das Prinzip des Reinforcement Learnings (Abk. RL, dt. „Bestärkendes Lernen“) zurückgegriffen: in jedem Abtastschritt wird ausgehend vom aktuellen Spielzustand eine Aktion ausgewählt und der resultierende Spielzustand abgespeichert. Erzielt ein Aktions-Zustands-Paar ein Tor, wird diese Handlung mit Hilfe einer Belohnungsfunktion belohnt. Führt ein Aktions-Zustands-Paar allerdings zu einem Gegentor, so wird die Handlung bestraft. Der Algorithmus legt die gesammelten Erfahrungswerte tabellarisch ab und mittelt diese. Je länger der Roboter nun spielt, desto mehr Erfahrungswerte sammelt er und, theoretisch, desto besser ist die resultierende Spielstrategie.


Eine weitere Besonderheit an dem selbstlernenden Air-Hockey-Roboter stellt die Implementierung des Algorithmus auf einem Arduino™ Mega 2560 dar, der nur mit einem 8 Kilobyte Arbeitsspeicher ausgestattet ist. Eine genaue Beschreibung des Systems „Air-Hockey-Roboter“ erfordert viele Prozessvariablen und ist damit ein hochdimensionales Problem, das einen großen Speicherplatzbedarf mit sich bringt. Die Problemstellung musste folglich reduziert werden. Dies wird in der untenstehenden Publikation näher beschrieben.

Veröffentlichungen
Maximilian Janßen, Alessio Cavaterra und Steven Lambeck: Selbstlernender Air-Hockey-Roboter – Reinforcement Learning in der Praxis. Angewandte Automatisierungstechnik in Lehre und Entwicklung 16. AALE Fachkonferenz Heilbronn, 2019

Ansprechpartner/in

Alessio Cavaterra

Gebäude 34 , Raum 106
+49 661 9640-5751
Sprechzeiten
Mittwoch, 09.00 bis 10.00 Uhr

Prof. Dr.

Steven Lambeck

Vizepräsident für Forschung und Entwicklung

Mess- und Regelungstechnik

Gebäude 30 , Raum 223
Prof. Dr.+49 661 9640-570
Sprechzeiten
nach Vereinbarung