Das autonome System mit dem Namen „Swift“ trat gegen drei professionelle Drohnenpiloten an, darunter die Weltmeister zweier internationaler Drone-Racing-Ligen. Beim Drone Racing werden Drohnen durch einen Parcours gesteuert – Ziel ist es, diesen möglichst schnell zu absolvieren. Der Pilot sieht die Rennstrecke dabei über eine Kamera an Bord nur aus der Perspektive der Drohne. Die Sportart entwickelte sich in den vergangenen Jahren rasant.
Mit einer autonomen Drohne das Niveau von Profipiloten zu erreichen, sei eine Herausforderung, schreiben die Studienautoren um Elia Kaufmann von der Universität Zürich, „denn der Roboter muss an seinen physischen Grenzen fliegen und seine Geschwindigkeit und Position im Parcours ausschließlich anhand von eingebauten Sensoren einschätzen“.
Fliegen lernen durch Versuch und Irrtum
Die „menschlichen“ Piloten durften eine Woche lang auf der Rennstrecke trainieren. Danach traten sie einzeln in mehreren Rennen gegen „Swift“ an. Das autonome System gewann gegen jeden der drei Profis, und insgesamt 15 von 25 Wettflügen. Außerdem erzielte es die schnellste Zeit auf der Rennstrecke – mit einem Vorsprung von einer halben Sekunde gegenüber der besten von einem Piloten erreichten Zeit. In der aktuellen Ausgabe des Fachjournals „Nature“ stellt das Forschungsteam das System vor.
„Swift“ brachte sich das Fliegen nach dem Prinzip „Trial and Error“ selbst bei – nicht in der realen Welt allerdings, sondern in einer simulierten Umgebung. Wie die Uni Zürich mitteilte, half dies auch, die Zerstörung von Drohnen in den frühen Phasen des Lernprozesses zu vermeiden.
Das System verknüpft in der realen Welt gesammelte Daten mit Deep Reinforcement Learning (Deep RL), einem Teilgebiet des Maschinellen Lernens. Deep RL kombiniert Reinforcement Learning (RL) und Deep Learning. Beim RL lernt ein Software-Agent Entscheidungen auf der Basis von Versuch und Irrtum treffen. Beim Deep Learning hingegen verarbeitet der Computer große Datenmengen mithilfe von künstlichen neuronalen Netzen, die dem menschlichen Gehirn nachempfunden sind. Als Kombination dieser beiden Methoden ermöglicht es Deep RL Software-Agenten, Entscheidungen auf der Grundlage unstrukturierter Daten zu treffen.
Deep-RL-Algorithmen sind in der Lage, sehr große Eingaben zu verarbeiten, etwa jedes Pixel, das in einem Videospiel auf den Bildschirm gerendert wird, und zu entscheiden, welche Aktionen ausgeführt werden sollen, um ein Ziel zu erreichen, beispielsweise einen bestimmten Spielstand. Deep RL hat kürzlich bereits zu einigen Fortschritte im Bereich künstliche Intelligenz geführt: Im Schach und in Videospielen wie StarCraft und Gran Turismo erbrachten darauf basierende Systeme bessere Leistungen als Menschen. Dabei handelte es sich aber um Brett- und Videospiele und nicht um physische Wettbewerbe wie Drone Racing.
Zahlreiche Einsatzgebiete
Bereits vor zwei Jahren hatte ein Forschungsteam der Universität Zürich in einer im Fachjournal „Science Robotics“ veröffentlichten Studie, einen Algorithmus vorgestellt, mit dem autonom fliegende Drohnen Profipiloten in Wettrennnen abhängen. Das damalige System basierte allerdings nicht auf Deep Reinforcement Learning und war zudem noch auf Informationen von externen Kameras angewiesen.
Laut den Studienautoren stellen die Ergebnisse der Forschung „einen Meilenstein“ sowohl für die mobile Robotik als auch für künstliche Intelligenz dar. Das neu entwickelte System könne etwa für die Entwicklung von selbstfahrenden Fahrzeugen und Personal Robots relevant sein. Letztere werden von einzelnen Personen gesteuert und können im Gegensatz zu Industrierobotern mit diesen interagieren und kommunizieren. KI-gesteuerte Drohnen könnten auch dazu eingesetzt werden, in eingestürzten Gebäuden nach Vermissten zu suchen.
Weitere Forschung in einer realistischeren, abwechslungsreichen Umgebung sei notwendig, um das volle Potenzial der Technologie auszuschöpfen, so KI- und Robotik-Experte Guido de Croon von der Technischen Universität Delft in den Niederlanden in einem ebenfalls in „Nature“ erschienenem Begleitartikel zur Studie. Um Menschen in jeder Rennumgebung zu schlagen, müsse das System auch mit Störungen wie Wind, wechselnden Lichtverhältnissen, weniger klar definierten Toren, weiteren Renndrohnen und vielen anderen Faktoren fertig werden – „alles Faktoren, die eine große Herausforderung für bestehende KI-Techniken darstellen“.