SPIEGEL ONLINE

: Herr Riedmiller, ist der Robocup für Sie eher ein sportliches oder ein wissenschaftliches Ereignis?

Martin Riedmiller: Für uns ist es ein wissenschaftliches Ereignis. Wir legen auch großen Wert darauf, neueste wissenschaftliche Erkenntnisse einzubauen. Für unser Wettkampfteam haben wir zum Beispiel selbst lernende Programme verwendet: Darauf sind wir ziemlich stolz. Unsere Kickroutine, die auf diese Weise gelernt wurde, ist schon um einiges besser als das, was oft von Hand programmiert wird.

SPIEGEL ONLINE: Bei der Europameisterschaft fielen ihre virtuellen Spieler auf, da sie richtigen Fußballverstand zeigten. Haben sie das also auch selbständig gelernt?

Riedmiller: Die große Schwierigkeit in der Simulationsliga besteht darin, die Grundfähigkeiten gut hinzukriegen. Wir haben ganz einfache Kommandos - etwa den Befehl, einen Ball zu kicken oder sich vorwärts bewegen. Es geht vor allem darum, diese Kommandos zu einer Sequenz zusammenzufügen, sodass ein guter Spielzug dabei herauskommt.

Wenn ich zum Beispiel den Ball mit maximaler Geschwindigkeit in eine bestimmte Richtung schießen möchte, muss ich ihn erst stoppen, hinter mich legen, in zwei, drei Kicks um mich herum ziehen und kann ihn dann erst wieder weg schießen.

So etwas von Hand zu programmieren ist unheimlich aufwendig, weil dabei alle möglichen Fälle betrachtet werden müssen: Kommt der Ball schnell oder langsam auf mich zu, fliegt er vielleicht schon in die richtige Richtung? Wir verfolgen daher den Ansatz des selbständigen Lernens. Dem Computerprogramm geben wir in diesem Fall zum Beispiel nur das Ziel vor, den Ball mit einer bestimmten Geschwindigkeit in eine bestimmte Richtung zu schießen. Es schießt dann erst einmal in die falsche Richtung, kriegt durch diese Erfahrung aber eine Ahnung davon, was es für einen optimalen Schuss tun muss, und verbessert sich nach und nach.

SPIEGEL ONLINE: So lernt ein Mensch ja auch das Fußballspielen.

Riedmiller: Richtig. Das entspricht exakt dem menschlichen Lernen. Wir stellen zwei Spieler aufs Spielfeld, stellen ihnen die verschiedenen Möglichkeiten - Dribbeln, Passen, Schießen und so weiter - zur Verfügung und stellen ihnen die Aufgabe, gemeinsam ein Tor zu schießen. Wenn ihnen das gelingt, verstärkt sich die Aktion, die sie ausgewählt haben. Wenn es dagegen zum Erfolg des Gegners führt, wird die Wahrscheinlichkeit, eine solche Aktion nochmals auszuwählen, verkleinert. Das Ganze ist ein rein mathematischer Ansatz.

SPIEGEL ONLINE: Als Sie 1998 zum ersten Mal an den Robocup-Meisterschaften teilnahmen, schnitten Sie ja zunächst nicht so gut ab. Inzwischen sind Sie Vize-Europameister. Haben Ihre Agenten in der Zwischenzeit so viel dazu gelernt?

Riedmiller: Wir haben viel gelernt und die Agenten natürlich auch. Die Methodik selbständig lernender Computerprogramme ist ja noch sehr neu, sie wurde erst vor zehn Jahren entwickelt. Wir sind daran interessiert, sie entscheidend voranzubringen. Deswegen wollten wir nicht auf die Schnelle irgend etwas programmieren, womit wir beim Wettbewerb gut abschneiden. Wir wollen zeigen, dass man mit lernenden Ansätzen weiter kommt. Deshalb haben wir sehr viel Arbeit in die Methodik investiert.

SPIEGEL ONLINE: Was können Ihre Agenten denn noch - außer Fußball?

Riedmiller: Wir sind besonders daran interessiert, in Fabriken Maschinenbelegungen zu optimieren: Ich habe zum Beispiel zehn Maschinen: Vor jeder Maschine warten fünf Aufträge, und jede Maschine muss sich entscheiden, welchen Auftrag sie als nächsten bearbeitet, um möglichst wenig Leerlauf entstehen zu lassen und trotzdem jeden Auftrag termingerecht abzuliefern.

Wir lassen jede Maschine einmal entscheiden. Wenn die Strategie zum Erfolg führt, wird sie verstärkt, wenn es dagegen Probleme gibt, muss sich etwas ändern. Das muss aber nicht der Mensch mühsam programmieren, sondern der Computer selbst ändert die Strategie, indem er die Situation tausende Male durchspielt und daraus seine "Lehren" zieht.

SPIEGEL ONLINE: Könnten die Programme auch richtige Roboter steuern?

Riedmiller: Ja, meine ursprünglichen Arbeiten gingen in diese Richtung. Für meine Dissertation habe ich mich zum Beispiel mit einem Balancierproblem befasst: Der Roboter ist ein einfacher Wagen, der sich hin und her bewegen kann. Auf dem Wagen befindet sich ein Stab, den der Roboter durch richtige Bewegungen aufrecht halten soll. Als Trainingssignal wird ihm nur mitgeteilt, ob der Stab noch steht oder ob er umgekippt ist. Daraus muss er selbständig das richtige Verhalten lernen.

SPIEGEL ONLINE: Wie steht es mit dem Interesse von Sponsoren an ihrer Arbeit?

Riedmiller: Es ist immer schwierig, Sponsoren zu finden. Seit letztem Jahr unterstützen eine Telekommunikationsfirma und Brauerei unsere Arbeit.

SPIEGEL ONLINE: Gibt es schon Ansätze, virtuellen Fußball im Training und in der Vorbereitung für richtige Spiele einzusetzen - etwa indem man verschiedene Strategien erprobt?

Riedmiller: Das müsste man Sportwissenschaftler fragen. Doch ich könnte mir durchaus vorstellen, dass das interessant sein könnte.

SPIEGEL ONLINE: Wer sind Ihre Favoriten für die Simulationsliga in Melbourne?

Riedmiller: Die Carnegie Mellon University ist schon seit zwei Jahren sehr gut. Ihr Team ist diesmal auf jeden Fall wieder Favorit. Es ist wirklich bewundernswert, wie das Team die Technik im Griff hat. Danach kommen die Portugiesen (FC Portugal) die jetzt auch die EM gewonnen haben. Auf sie schauen wir besonders, weil wir mit ihnen noch eine Rechnung offen haben. Auch in Japan soll es einige starke Teams geben.

SPIEGEL ONLINE: Das Robocup-Komitee will in 50 Jahren mit humanoiden Robotern die Fußball-WM gewinnen. Wie schätzen Sie dieses Fernziel ein?

Riedmiller: Sehr kritisch. Ich denke, dass es immer gut ist, sich möglichst hohe Ziele zu stecken - einfach um zu wissen, worauf man hinarbeitet. Aber es geht nicht unbedingt darum, sie auch wirklich zu erreichen. Wichtig ist, auf dem Weg dorthin die Robotik und Künstliche Intelligenz voranzubringen. Hier ist also tatsächlich der Weg das Ziel.