Apple wytrenowała sztuczną inteligencję do rozpoznawania nieznanych uścisków dłoni na podstawie sygnałów EMG

Apple stworzyła model EMBridge – rozpoznawanie gestów na podstawie sygnału EMG

Nowe badania firmy Apple wykazały, że ich sztuczna inteligencja EMBridge potrafi określać ruchy ręki wyłącznie z pomiarów elektrycznych mięśni (EMG), nawet jeśli podobne gesty nie występowały w zestawie treningowym.

Czym jest EMG i gdzie już się stosuje* Elektromiografia mierzy aktywność elektryczną powstającą przy skurczu mięśni.

* W medycynie wykorzystuje się ją do diagnozowania i fizjoterapii, a także w protezach kończyn.

* Urządzenia noszone (np. okulary Meta Ray‑Ban Display z kontrolerem Neural Band) używają EMG do sterowania rzeczywistością wirtualną.

Jak trenowano EMBridge
1. Dane – badacze wykorzystali dwa otwarte zestawy:

* `emg2pose` – sygnały EMG i współrzędne rąk.

* `NinaPro DB2` – podobny zestaw.

2. Dwa podejścia – model najpierw trenował się na dwóch oddzielnych strumieniach:

* wyłącznie sygnały EMG;

* wyłącznie dane o położeniu ręki.

3. Synchronizacja – po wstępnym treningu badacze „połączono” strumienie: komponent pracujący z EMG uczył się „rozumieć” informacje z danych współrzędnych. W rezultacie EMBridge potrafił rozpoznawać gesty wyłącznie na podstawie sygnału EMG.

Utrudnienie zadania
* Odcięto część drugiego strumienia (współrzędne) i zmuszono model do wnioskowania tylko na bazie EMG.

* Aby nie dopuszczać nadmiernych błędów, ocena prognoz stała się mniej rygorystyczna: podobne gesty postrzegano jako pokrewne, a nie całkowicie różne.

* Takie podejście pomogło „ustrukturyzować” przestrzeń cech i poprawiło odzyskiwanie pozycji rąk, których w treningu brakowało.

Weryfikacja i wyniki
* Model przetestowano na tych samych zestawach `emg2pose` i `NinaPro`, używając ich jako benchmarków.

* EMBridge zachowuje wysoką dokładność nawet przy wykorzystaniu wyłącznie 40 % danych treningowych.

Ograniczenia
Naukowcy podkreślają, że kluczowym ograniczeniem pozostaje dostęp do zestawów z parą „EMG + położenie ręki”. Takie dane są nadal ograniczone pod względem objętości i nie zawsze dostępne.