Das iPhone nur mit Blicken steuern – »There’s An App For That« [Netzfund]

Das eigene Smartphone steuern, ohne es zu berühren? Kein Problem, die integrierten Sprachassistenten können das schon seit vielen Jahren. Dass jemand sein Handy mit den Augen steuert, habt ihr aber hingegen wahrscheinlich noch nicht erlebt. Aber wie hieß es doch so schön in den frühen Apple Werbekampagnen für das iPhone: »There’s An App For That«. So auch in diesem Fall. Die »App Hawkeye Acces« macht die Steuerung mit Blicken möglich.

So funktioniert die Blicksteuerung

Die App ist bisher nur für die iPhone X Modelle verfügbar, da nur diese mit der TrueDepth Kamera ausgestattet sind, die auch für die FaceID Gesichtserkennung verwendet wird. Diese ist nämlich keine normale Kamera, sondern verfügt zusätzlich über einen Projektor, der 30.000 Punkte auf das Gesicht projiziert und eine Infrarotkamera, die diese Punktemuster registriert. Hawkeye Acces macht sich das für die Erkennung zu Nutze.

Nach dem Start der App und einer kurzen Kalibrierung erscheint ein Cursor auf dem Screen, den man dann entsprechend durch seine Blicke bewegen kann. Möchte man einen Klick auslösen, kann man das entweder über ein kurzes Verharren, Augenzwinkern oder Lächeln. Bei unserem Test konnten wir so tatsächlich eine Nachrichtenseite aufrufen, dort einen Artikel auswählen, bis zum Ende scrollen und auch wieder zurück in das Hauptmenü navigieren. Das Smartphone stand dabei komplett unberührt in einer Halterung auf dem Tisch.

Es ist natürlich keine vollumfängliche Steuerung des Telefons möglich und das Ganze funktioniert auch noch bei weitem nicht perfekt, aber zeigt auf jeden Fall, wo es in der Zukunft hingehen könnte.

Aber seht selbst in diesem Video:

Technologie als Enabler für Barrierefreiheit

In Deutschland leben über 7 Millionen Menschen mit einer Behinderung, weltweit sind es über 600 Millionen. Das zeigt welche Relevanz es hat, Barrierefreiheit und Inklusion voranzutreiben. Technologie ist dabei oftmals ein entscheidendes Mittel auf diesem Weg. Es fängt an bei Funktionen, die Text und Bildschirminhalte vorlesen können oder auch die Steuerung und Eingabe über die eigene Sprache ermöglichen.

Das Projekt „Seeing AI“ von Microsoft ist eine App, die mit Hilfe der Kamera und künstlicher Intelligenz sehbeeinträchtigten Menschen die Welt um sie herum, also in der Nähe befindliche Personen, Text und Objekte, verbal beschreibt.

Ein prominentes Beispiel ist sicherlich auch der Sprachcomputer von Stephen Hawking, welchen er über die Bewegung eines einzelnen Wangenmuskels steuerte. Es gibt noch viele Beispiele wie diese, die zeigen, welches unglaubliche Potenzial in Visual Search schlummert.