Aktuell | Forschung | c't | heise magazine

Brille mit Sonar scannt Blickrichtung und Mimik

Mit Schallortung an der Brille gelingt es Forschern, den Gesichtsausdruck und sogar die Blickrichtung des Trägers zu erkennen und auf einen Avatar zu übertragen. Keine Kamera stört dabei die Privatsphäre.

Das Sonarsystem EyeEcho erkennt Mimik mitsamt Augenblinzeln und kann das Gesicht auf einen Avatar übertragen. Ein zusätzliches System namens GazeTrak ermittelt per Schallortung die Blickrichtung.

Bild: Cornell University

Ein Team um Cheng Zhang an der Cornell University im US-Staat New York hat zwei Sonarsysteme entwickelt, die, an einer Datenbrille oder einem VR-Headset (Virtual Reality) angebracht, das Mienenspiel des Trägers erkennen. Damit kann das System der Forscher in Echtzeit einen Avatar dazu bringen, die Mimik zu imitieren. Er blinzelt auch wie sein Vorbild und schaut sogar in die gleiche Richtung. Die Technik erweist sich nicht nur als kompakt genug, um sie an einer Brille unterzubringen. Sie ist obendrein energiesparender als Systeme mit Kameras. An einer handelsüblichen VR-Brille liefen die Prototypen mehr als einen Tag lang.

Bereits auf der kommenden Konferenz CHI (Computer-Human Interaction) im Mai 2024 wollen Zhang und sein Team das Teilsystem EyeEcho vorstellen. Ein Lautsprecher und ein Mikrofon an jedem Brillenbügel scannen je eine Gesichtshälfte und erfassen sowohl Lippenbewegungen als auch Blinzeln. In Versuchen erkannte dieses System die verschiedenen Gesichtsausdrücke der Probanden auch, wenn diese sich bewegten und beispielsweise umhergingen.