Badacze wykorzystali sztuczną inteligencję, aby z zwykłych smartwatchy stworzyć urządzenie do precyzyjnego pomiaru ruchów ręki

Nowe zegarki‑asystenty z Uniwersytetu Cornell i KAIST

Naukowcy z Uniwersytetu Cornell (USA) oraz Koreańskiego Instytutu Zaawansowanych Technologii (KAIST) stworzyli system WatchHand, który przekształca zwykłe smartwatche w pełnoprawny śledzący ruch ręki. System wykorzystuje wyłącznie wbudowany głośnik i mikrofon zegarka, bez konieczności użycia zewnętrznych czujników.

Jak działa WatchHand
1. Sygnal akustyczny – zegarek emituje niewyraźne fale dźwiękowe.
2. Odbiór echa – mikrofon rejestruje odbite sygnały i tworzy profil echa.
3. Przetwarzanie na urządzeniu – lokalnie działający algorytm uczenia maszynowego przekształca profil w współrzędne ręki w trzech osiach.

W ten sposób system przetwarza dane bezpośrednio na zegarku, co zapewnia prywatność i minimalny opóźnienie.

Zalety
| Wskaźnik WatchHand | Tradycyjne rozwiązania |
|--------------------|------------------------|
| Nie wymaga zewnętrznych czujników (kamery, czujniki IMU) | ✔ ❌ |
| Nadaje się do codziennego użytku | ✔ ❌ |
| Skalowalność na miliony urządzeń | ✔ ❌ |
| Lokalna obróbka danych | ✔ ❌ |

Testowanie
- Uczestnicy – 40 osób.
- Dane – około 36 godzin gestów, zebranych w czterech niezależnych eksperymentach.
- Platformy – kilka modeli smartwatchów.
- Scenariusze – różne pozycje ręki i warunki hałasu.

Wyniki wykazały wiarygodne śledzenie ruchów palców oraz obrotu nadgarstka nawet w trudnych warunkach.

Perspektywy zastosowania
* Sterowanie komputerem i aplikacjami za pomocą gestów.
* Interakcja z systemami AR/VR.
* Pomoc osobom z ograniczoną mobilnością lub mową.

Studenci KAIST, Jivan Kim, zauważył: „Jeśli urządzenie ma głośnik i mikrofon, nasz podejście jest zastosowalne”.

Ograniczenia i przyszłość
* Obecnie działa tylko na urządzeniach z Androidem.
* Dokładność spada przy ruchu użytkownika (np. podczas chodzenia).

Zespół aktywnie rozwija ulepszenia dla scenariuszy mobilnych.

Wyniki badania zostaną zaprezentowane na konferencji ACM CHI 2026 dotyczącej czynnika ludzkiego w systemach komputerowych.

Kluczowa idea

Profesor z Uniwersytetu Cornell, Cheng Zhang, podsumował: „WatchHand demonstruje, jak prosta aktualizacja oprogramowania może przekształcić miliony istniejących zegarków w inteligentne platformy do śledzenia zachowań. Otwiera to drogę do nowych sposobów interakcji z cyfrowymi urządzeniami bez klawiatur i myszy.”