Wie funktioniert die Gestensteuerung? Ein Überblick

John Anderton braucht Informationen. Er durchsucht gespeicherte Fotos und Informationen – und es sieht aus, als ob er ein Orchester dirigiere. Mit beiden Händen holt er sich auf riesigen holografischen Bildschirmen heran, was ihn interessiert, schiebt beiseite, was nicht. Steven Spielberg hat in Minority Report (2002) mit Tom Cruise eine ästhetische Vision in Szene gesetzt, aber er hatte zuvor auch Experten auf verschiedensten Gebieten befragt, welche Technologien wohl zur Zeit der Filmhandlung im Jahr 2054 tatsächlich Realität sein könnten. Eine davon – und bis heute immer wieder mit diesem Film in Verbindung gebracht – war die Gestensteuerung.

Ganz so weit wie in Minority Report sind wir noch nicht – wir haben ja auch noch 30 Jahre Zeit. Aber seit 1999, als Spielbergs Filmwelt entworfen wurde, hat sich viel getan: Immer größere Touchscreen-Bildschirme, Virtual-Reality-Brillen und Sensoren für das Tracking von Körperbewegungen erlauben es, Spielbergs Vision immer näher zu kommen.

Was ist Gestensteuerung?

Computermäuse, Touchpads und Touchscreens, die es erlauben, digitale Objekte mit Händen oder Fingern zu manipulieren, gibt es bereits seit den 1960er Jahren. Und streng genommen ist ihre Bedienung nichts anderes als Gestensteuerung.

Viele Experten für Mensch-Computer-Interaktion betrachten jede Körperbewegung oder Haltung, die Information übermitteln kann, als Geste. In der Praxis sieht das etwas anders aus: Bei einem Knopfdruck sieht man nicht die Bewegung des Fingers, sondern den gedrückten Knopf als Kern der Informationsvermittlung an. Ähnlich sieht es aus, wenn man mit dem Finger oder der Maus einen Button drückt. Aber man kann auch festlegen, dass bestimmte Finger- oder Mausbewegungen Informationen enthalten sollen und damit zu Gesten werden. Die wohl bekannteste Mausgeste, „Drag and Drop“, gibt es schon seit 1984, als Apples Macintosh erschien. Andere Mausgesten haben sich nicht so recht durchgesetzt; es gibt sie vor allem bei Browsern (seit Opera V5 aus dem Jahr 2000).

Spricht man heute von Gestensteuerung, meint man meist eine besondere Form der Mensch-Maschine-Interaktion, bei der Hand- und Körperbewegungen, vor allem möglichst natürliche Bewegungen wie Zeigen, Greifen oder Schieben, zur Steuerung von bzw. zur Kommunikation mit elektronischen Geräten verwendet werden. Das betrifft insbesondere Bewegungen von Händen, Armen, Kopf oder Augen. Gesten werden nicht nur für die Steuerung von Computern, sondern auch vielen anderen Bereichen genutzt, etwa in Computerspielen, Fahrzeugen oder im Smarthome.

So eine Gestensteuerung umzusetzen, sollte eigentlich nicht so schwer sein: Man muss geeignete Gesten festlegen und ihnen jeweils die Information bzw. den Befehl zuordnen, die sie übermitteln sollen. Doch in diesem scheinbar einfachen Konzept stecken einige Herausforderungen. Zwei davon wollen wir näher betrachten, bevor wir zum Schluss noch kurz auf die Praxis der Gestensteuerung bei Webanwendungen eingehen: erstens die sichere Erkennung von Gesten und zweitens der Entwurf eines intuitiven Steuerungskonzepts.

Wie funktioniert die Gestenerkennung?

Die Erkennung von Gesten unterscheidet sich ja nach genutzter Hardware. Bei Touchscreens können verschiedene Technologien zum Einsatz kommen:

Touchscreens

Die kostengünstigste sind resistive Touchbildschirme, bei denen Sensoren auf physischen Druck eines Fingers oder Stiftes auf die Oberfläche reagieren. Das wird durch zwei übereinander liegende leitfähige Schichten erreicht, die sich bei Druck annähern, so dass sich punktuell der Widerstand zwischen ihnen verändert. Die sehr verbreiteten kapazitiven Touchscreens nutzen ein elektrisches Feld, dass sich bei Annäherung eines Fingers verändert. Dadurch muss kein Druck ausgeübt werden, es genügt eine leichte Berührung. Im Gegensatz zu resistiven kann ein kapazitiver Bildschirm auch mehrere Berührungen gleichzeitig erkennen und ermöglicht damit sogenannte Multi-Touch-Gesten, etwa das Vergrößern von Inhalten mit Finger und Daumen. Wieder andere Bildschirme arbeiten mit Infrarotstrahlung – damit sind auch sehr große Schirmflächen möglich.

Berührungslose Erkennung von Körperbewegungen

Um ohne direkten Kontakt (Touch) Gesten zu erkennen, braucht es Sensoren. Immer häufiger werden dabei Kameras genutzt, oft kombiniert mit Bewegungs- oder Beschleunigungssensoren. Smartphones können Aktionen auslösen, wenn sie aufgenommen, abgelegt, gedreht oder geschüttelt werden. In Computerspielen und Virtual-Reality-Anwendungen übermitteln Sensoren in Controllern die Positionen von Händen und anderen Körperteilen, Kameras überwachen Kopfhaltung und Augen. Die 2009 erschienene und mittlerweile eingestellte Microsoft Kinect kombinierte eine Kamera mit einem Tiefensensor und ermöglichte völlig neue Steuerungsmöglichkeiten durch Körperbewegungen. Ein weiterentwickelter Tiefensensor kommt auch in Microsofts Mixed-Reality-Brille HoloLens (2015) zum Einsatz, die ohne Computeranschluss funktioniert und ebenfalls durch diverse Gesten von Hand und Kopf gesteuert werden kann, zum Beispiel Antippen, Ziehen, Handöffnen oder Auswählen durch Anblicken. Und Apples Computerbrille Vision Pro von 2023 mit ihrem „räumlichen“ Betriebssystem VisionOS kommt dem „Dirigieren“ aus Minority Report schon recht nahe.

Gestensteuerung intuitiv gestalten

Da die Gestensteuerung, von einigen Smartphone-Wischgesten abgesehen, häufig noch ungewohnt ist, muss besonders auf ein intuitives Steuerungskonzept geachtet werden. Die konkrete Ausgestaltung der Steuerung ist natürlich auch von der genutzten Technologie und der gewünschten Anwendung abhängig. Wenn Sie selbst eine Anwendung mit Gestensteuerung planen, sollten Sie generell die folgenden Prinzipien beherzigen:

Einfache und natürliche Gesten verwenden

Ungewohnte oder komplexe Gesten können schwer zu erlernen und zu merken sein. Verwenden Sie lieber möglichst einfache Bewegungen, am besten solche, die natürlichen Hand-, Kopf- oder Körperbewegungen ähneln, um Ihren Nutzern die Bedienung zu erleichtern.

Konsistenz in der Gestaltung

Nutzen Sie Gesten, die Ihren Nutzern bereits vertraut sind (zum Beispiel Wischgesten auf dem Smartphone), und das in möglichst konsistenter, prinzipiell ähnlicher Weise. Das gilt nicht nur für verschiedene Bereiche einer Anwendung, sondern möglichst über Anwendungen und Geräte hinweg – orientieren Sie sich ruhig an den Gepflogenheiten des jeweiligen Betriebssystems und vergleichbarer Anwendungen. Denn Konsistenz vermeidet Unsicherheit und erleichtert Ihren Nutzern den Umstieg von anderen Anwendungen oder Systemen.

Feedback bereitstellen

Geben Sie nach Möglichkeit Ihren Benutzern Feedback, wenn eine Geste erkannt wird. Dies kann visuell, auditiv oder haptisch erfolgen. So erlernen Benutzer schneller neue Gesten und fassen bald Vertrauen in ihr System.

Umfeld berücksichtigen

Berücksichtigen Sie auch Kontext und Umfeld, in welchem die Gestensteuerung verwendet wird, Gesten müssen beispielsweise auch in einem lauten oder dunklen Umfeld noch zuverlässig erkannt werden. Und häufig ergibt sich aus einer Anwendungsfunktion fast zwangsläufig eine geeignete Geste, zum Beispiel ein Slider für die Auswahl eines Wertes aus einem Kontinuum oder eine Wischgeste zum Anzeigen aufeinander folgender Bilder in einer Galerie.

Anpassungen ermöglichen

Systeme, die sich flexibel an die individuellen Gewohnheiten und Vorlieben der Benutzer anpassen lassen, bieten eine bessere Benutzererfahrung. Vor allem wenn Sie ein besonders ungewöhnliches Bedienkonzept gewählt haben, ist es ratsam, auch die Auswahl alternativer Steuerungsmethoden zu ermöglichen. Damit sorgen Sie gleichzeitig für mehr Akzeptanz bei Benutzern – besonders wichtig für Anwendungen im Unternehmensumfeld.

Gestensteuerung bei Webanwendungen

Mit der zunehmenden Nutzung von Webanwendungen auf mobilen Geräten und Touchscreens – wo die Gestensteuerung umfassend umgesetzt und akzeptiert ist – gewinnt diese auch im Web an Bedeutung. Sie ermöglicht eine natürlichere und effizientere Interaktion mit Webinhalten, verbessert die Benutzererfahrung und sorgt dafür, dass sich Webanwendungen wie native Mobilanwendungen anfühlen. Mit dem Aufkommen von Responsive Design und Progressive Web Apps (PWA) sind solche Webanwendungen heute für verschiedenste Geräte und Bildschirmgrößen realisierbar.

Die Integration von Gestensteuerung in Webanwendungen ermöglicht es Benutzern, auf intuitive Weise zu navigieren und zu interagieren. Zu den wichtigsten Anwendungsfällen zählen:

Navigation: Wischen mit Finger oder Hand zum Wechseln zwischen Seiten oder Abschnitten
Zoom und Skalierung: Sogenannte Pinch-Gesten mit mehreren Fingern zum Vergrößern oder Verkleinern von Inhalten
Drag and Drop: Verschieben oder Kopieren von Elementen durch Ziehen mit dem Finger
Interaktive Elemente: Aktivieren von Funktionen durch Tippen oder längeres Drücken

JavaScript bietet dafür verschiedene Techniken an. Damit eine JavaScript-Anwendung auf Bedienereignisse reagieren kann, werten Webbrowser sogenannte Events aus. Bei der Bedienung über Touchscreen funktionieren dafür sogar schon Mouse-Events wie mousedown, mouseup und click (Drücken, Loslassen und das Gesamtereignis „Klick“ werden nacheinander verarbeitet). Spezielle Touch-Events können aber noch mehr. touchstart erfasst, wenn ein Finger den Bildschirm berührt, touchmove, wenn er über den Bildschirm bewegt wird, und touchend, wenn die Berührung endet – so können auch komplexe Gesten wie die oben genannten programmiert werden.

Bei der Implementierung einer Gestensteuerung helfen diverse JavaScript-UI-Frameworks (z. B. React, Vue.js oder Angular) oder spezialisierte JavaScript-Bibliotheken, zum Beispiel interact.js, ZingTouch oder hammer.js (nicht mehr weiterentwickelt).

Für eine möglichst intuitive Gestensteuerung gilt auch im Web grundsätzlich das oben Gesagte: Einfachheit, Konsistenz, Feedback, Kontextsensitivität und Anpassbarkeit helfen, dass Ihre Nutzer sich in Ihrer Anwendung schnell zurechtfinden und gerne wiederkommen.

Wie funktioniert die Gestensteuerung? – Fazit

Die Gestensteuerung eröffnet Webanwendungen neue Möglichkeiten für eine natürlichere und intuitivere Benutzerinteraktion. Sie schaffen damit Anwendungen, die Ihren Anwendern eine verbesserte Benutzererfahrung bieten und die Kundenbindung erhöhen können – wenn Sie die Bedürfnisse und Erwartungen Ihrer Benutzer verstehen und berücksichtigen.

Bild von fancycrave1 auf Pixabay

Über
Letzte Artikel

Host Europe

Hinter Ihrem Web-Erfolg steht höchste Leistung. Wir erfüllen auch Ihre Hosting-Wünsche – mit engagierten Experten und führenden Technologien. Host Europe - Professionelle Hosting Services für Privatkunden & Unternehmen.

Letzte Artikel von Host Europe (Alle anzeigen)