Smartglassy, które zdiagnozują Alzheimera i pomogą osobom niedowidzącym. Cornell University prezentuje dwie technologie

GazeTrak i EyeEcho – monitorowanie wyrazu twarzy w sposób ciągły

Oba rodzaje smartglassów używają głośników i mikrofonów zamontowanych na oprawce okularów, aby odbijać niesłyszalne fale dźwiękowe od twarzy i odbierać odbite sygnały spowodowane ruchami twarzy i oczu. GazeTrak jest systemem śledzenia wzroku, który opiera się na sygnałach akustycznych, natomiast EyeEcho, jest systemem opartym na okularach, który stale i dokładnie wykrywa mimikę twarzy i odtwarza ją za pomocą awatara w czasie rzeczywistym. Urządzenia mogą wytrzymać kilka godzin na baterii smartglassa i ponad jeden dzień na zestawie VR.

– Jest mały, tani i ma bardzo małą moc, więc możesz nosić go na smartglassach każdego dnia – nie zabije baterii – ocenił Cheng Zhang, adiunkt informatyki na Cornell University. Zhang kieruje Laboratorium Inteligentnych Interfejsów Komputerowych dla Przyszłych Interakcji (SciFi), które stworzyło oba urządzenia.

Odtwarzanie mimiki twarzy i ruchów oczu, aby mieć lepsze interakcje z innymi użytkownikami

W przypadku GazeTrak naukowcy ustawili jeden głośnik i cztery mikrofony wokół wnętrza każdej oprawki okularów, aby odbijać i odbierać fale dźwiękowe z gałki ocznej i okolic oczu. Powstałe sygnały dźwiękowe są podawane do deep-learningowego pipeline'u, który wykorzystuje sztuczną inteligencję do ciągłego monitorowania kierunku spojrzenia osoby.

Z kolei EyeEcho posiada jeden głośnik i jeden mikrofon znajdujące się obok zawiasów okularów. Są skierowane w dół, aby złapać ruch skóry w miarę zmian wyrazu twarzy. Odbite sygnały są również interpretowane za pomocą sztucznej inteligencji.

Rozmowa video w hałaśliwej okolicy, albo czytanie

Dzięki technologii użytkownicy mogą prowadzić rozmowy wideo bez użycia rąk przez awatara, nawet w hałaśliwym miejscu. Dodajmy, że niektóre smartglassy mają zdolność rozpoznawania twarzy lub rozróżniania kilku konkretnych wyrazów twarzy, ale żadne nie śledzą wyrazów w sposób ciągły, tak jak EyeEcho.

Dodatkowo GazeTrak może być używany z czytnikami ekranu do odczytu fragmentów tekstu dla osób niedowidzących, które np. zapoznają się z witryną internetową.

Diagnozowanie chorób neurodegeneracyjnych

GazeTrak i EyeEcho mogą również potencjalnie pomóc w diagnozowaniu lub monitorowaniu chorób neurodegeneracyjnych, takich jak Alzheimer i Parkinson. Przy tych schorzeniach pacjenci często mają nieprawidłowe ruchy gałek ocznych i mniej wyraziste twarze, a tego typu technologia może śledzić postęp choroby w zaciszu domowym pacjenta.

GazeTrak będzie zaprezentowany jesienią na Annual International Conference on Mobile Computing and Networking, a EyeEcho w maju na Association of Computing Machinery CHI conference on Human Factors in Computing Systems

Przeczytaj także: To powinni być nowi idole. Najlepsi polscy innowatorzy