Oamenii de știință au dezvoltat o aplicație pentru căștile de realitate mixtă Apple Vision Pro care le permite utilizatorilor să controleze un robot folosind doar gesturi ale capului și ale mâinilor. Ar putea fi folosit pentru a controla mașinării de la distanță în diferite scenarii. 

Aplicația, numită „Tracking Streamer”, urmărește mișcările umane – în special mișcarea capului, încheieturii mâinii și degetelor – și transmite aceste date printr-o conexiune Wi-Fi către un robot din aceeași rețea. Robotul conectat traduce apoi datele în mișcări corespunzătoare.

Cercetătorii și-au publicat realizărilor într-o scurtă lucrare publicată pe 9 martie pe Github. Sistemul lor urmărește 26 de puncte plasate în mâini și încheieturi, precum și puncte separate în cap. De asemenea, înregistrează date spațiale, cum ar fi înălțimea față de sol.

Dezvoltatorul aplicației Younghyo Park, un doctorand la MIT a publicat un videoclip pe X, cunoscut anterior sub numele de Twitter, care arată sistemul în acțiune.

???? Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?

I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf

— Younghyo Park (@younghyo_park) March 9, 2024

Într-un scurt videoclip, coautorul studiului Gabe Margolis, student la MIT, controlează un robot cu patru picioare folosind mâinile și mișcările corpului. Acesta face gesturi pentru a comanda unui robot să se apropie de o ușă închisă, să rotească mânerul și să intre. Într-o altă secvență, îi face semn robotului să ridice capacul unui coș de gunoi de plastic și să-l arunce la gunoi. La un moment dat, se aplecă și el, ceea ce determină robotul să-l imite.

Apple și-a lansat căștile de realitate virtuală (VR) Vision Pro în februarie 2024. Cu puțin timp înainte de lansare, oamenii de știință au publicat cercetări care au investigat cât de bine funcționează căștile VR în utilizare în viața de zi cu zi.

Ei au descoperit că dispozitivele aveau un oarecare lag, că nu ofereau o vedere periferică prea bună și că au cauzat distorsiuni asemănătoare unei oglinzi. Ei au avertizat împotriva purtării căștilor VR în timpul condusului, de exemplu.

Sursa foto: Livescience/ Younghyo Park via X