Armband überträgt Handzeichen
Roboterhand imitiert Gesten in Sekundenbruchteilen
Forscher am MIT erfassen Handbewegungen per Ultraschall und übertragen sie an einen Roboter. Wir blicken auf die Vor- und Nachteile dieser neuen Technik.
Handbewegungen präzise digital zu erfassen, gilt als eines der schwierigsten Probleme in Robotik und virtueller Realität. Forscher haben ein kompaktes Armband mit Ultraschallgerät entwickelt, das Handbewegungen in Sekundenbruchteilen erkennt und auf einen Roboter überträgt. Tempo und Genauigkeit genügen sogar zum Klavierspielen.
Die Technik am Unterarm lässt dem Träger weitgehend freie Hand. Er kann sich ungestört bewegen und hat auch keine Einschränkungen etwa seines Fingerspitzengefühls.
Die Hand hat eine sehr komplexe Anatomie: 27 Gelenke, 33 Muskeln und mehr als doppelt so viele Sehnen und Bänder machen sie zum beweglichsten Körperteil des Menschen. Ein Forscherteam um Xuanhe Zhao am Massachusetts Institute of Technology (MIT) hat jüngst ein Ultraschallarmband vorgestellt, das am Unterarm getragen die Handzeichen und Fingerstellungen erfassen kann. Die Verzögerung, bis das Gerät eine Geste erkannt hat und drahtlos überträgt, betrug in den Laborversuchen weniger als 120 Millisekunden.
Damit konnten Probanden beispielsweise unterschiedliche Roboterhände am MIT nahezu in Echtzeit steuern. Ein Tester bewegte eine mechanische Hand mit fünf Fingern am Klavier und ließ sie ein einfaches Stück spielen.
Doch die Erkennung von Handbewegungen ist nicht nur für die Robotersteuerung interessant. Mit derselben Technik als Mausersatz könnte ein Anwender auch Objekte auf dem Computerbildschirm oder im virtuellen Raum bewegen. Die Forscher definierten beispielsweise Gesten wie zwei Finger mit den Kuppen aufeinanderzupressen und wieder zu öffnen, um ein virtuelles Objekt in einer Testanwendung entweder zu verkleinern oder zu vergrößern.
Nicht zuletzt ist es mit einer akkuraten Handzeichenerkennung möglich, unterschiedlichste Gesten auf einen Avatar im virtuellen Raum zu übertragen.
Eigener Ultraschallwinzling
Das Armband trägt einen Ultraschallsticker, der gerade einmal die Größe einer Smartwatch hat. Diese miniaturisierte Technik hatten Mitarbeiter von Zhao im Sommer 2022 erstmals öffentlich gezeigt. Anwender können sich einen solchen Sticker beispielsweise auf beliebige Körperstellen kleben und damit innere Organe oder eben das Zusammenspiel von Muskeln, Sehnen und Bändern für bis zu 48 Stunden kontinuierlich beobachten.
In der neuen Anwendung haben die Forscher ihre komprimierte Ultraschalltechnik mit Recheneinheit und Elektronik kombiniert, sodass das vollständige Armband etwa wie ein am Unterarm angeschnalltes Handy wirkt.
Die Trainingsdaten für diese KI erzeugten die Forscher durch optisches Tracking. Sie klebten Markierungen auf die Hand einer Testperson und nahmen deren Bewegungen mit Kameras aus verschiedenen Winkeln auf, während sie gleichzeitig Ultraschallbilder der Muskeln, Sehnen und Bänder im Unterarm aufzeichneten. Das mit diesen kombinierten Aufnahmen trainierte KI-Modell konnte anschließend allein aus den Ultraschalldaten die Position von Fingern und Handfläche wiedergeben.
In der jüngsten Studie konnten bereits acht Probanden mit dem Armband unter anderem alle 26 Buchstaben der amerikanischen Gebärdensprache übertragen und diverse Gegenstände greifen.
Zhao plant, die Hardware des Armbands weiter zu verkleinern und die KI-Software anhand von noch mehr Gesten und Bewegungen verschiedener Probanden zu trainieren. (agr@ct.de)
Handtracker im Video: ct.de/y988