Вчені створили застосунок для керування роботами з гарнітури Apple Vision Pro

Вчені Массачусетського технологічного інституту розробили застосунок для гарнітури змішаної реальності Apple Vision Pro, який дозволяє користувачам керувати роботами лише за допомогою жестів голови та рук.

Про це повідомив розробник програми, докторант Янгхьо Парк у соціальній мережі X (колишній Twitter).

Застосунок під назвою Tracking Streamer можна використовувати для віддаленого керування машинами в різних сценаріях — від жартів до навігації в зоні лиха та для інших небезпечних маніпуляцій у рятувальних або наукових цілях. Програма відстежує рухи людини, — зокрема те, як рухаються голова, зап’ястя та пальці — і передає ці дані через з’єднання Wi-Fi до робота, який знаходиться у тій самій мережі. Під’єднаний робот перетворює дані у відповідні рухи.

“Ця програма тепер офіційно в VisionOS App Store! Ви можете знайти Tracking Streamer в App Store і встановити програму, — повідомляють розробники.

Дослідники оприлюднили свою роботу в короткій статті, опублікованій на Github — сховищі проєктів з відкритим кодом. Система відстежує 26 точок на руках та зап’ястях, а також окремі точки на голові. Програма дозволяє зчитувати просторові дані, висоту та інші параметри.

Янгхьо Парк на відео демонструє систему в дії. Співавтор дослідження Гейб Марголіс, аспірант Массачусетського технологічного інституту, керує чотирилапим роботом за допомогою рук та рухів тіла. Марголіс жестами наказує роботу підійти до зачинених дверей, повернути ручку, взятися за неї та увійти. Також він жестом наказує роботу взяти пластикову кришку відра для сміття та кинути її у смітник. У якийсь момент він нахиляється, що змушує робота імітувати його рухи.

“Приємною особливістю Vision Pro є те, що вона відстежує все в глобальному кадрі: програма постійно локалізує пристрій, з якого запущено додаток. Це відкриває захопливі можливості для знімання людських рухів у більш масштабному середовищі”, — зазначає Парк.

Apple випустила гарнітуру Vision Pro у лютому 2024 року. Сайт Live Sciense зазначає, що незадовго до запуску вчені опублікували роботу, у який досліджували, як гарнітури віртуальної реальності можна використовувати у повсякденному житті. зазвичай ці пристрої мають затримку, відсікають периферійний зір та викликають візуальні просторові спотворення.

“Ці пристрої можуть стати перспективним джерелом даних для навчання базової моделі робототехніки!” — підсумовує Парк

Парк та Марголіс припустили у своїй статті, що деякі користувачі можуть носити Apple Vision Pro весь час, як окуляри, і що тривала експлуатація дасть більше даних, які можна використовувати для навчання роботів, як люди рухаються.

З гарнітурою Apple Vision Pro варто поводитися обачно. Раніше повідомлялося, що прогулянки у гарнітурі віртуальної реальності приховують небезпеки, а зловмисники можуть почати використовувати це у власних цілях. Користувачі гарнітури Apple Vision Pro можуть зіткнутися з віртуальними перепонами, які перекривають поле зору та можуть несподівано налякати, бо раптово з’являються у неочікуваних місцях.

Ольга Степанова

Recent Posts

Вважатиметься врученою: чоловіків приголомшили новиною про методи вручення повісток

В Україні уряд затвердив порядок призову, який по-новому регулює порядок вручення повісток. Зокрема, при надсиланні повістки…

9 хв. ago

5 речей, які ніколи не одягне багата жінка: вони видають несмак і мають дешевий вигляд

Багатство не гарантує гарний смак, але воно дає можливість одягатися якісно та елегантно, тому доволі…

17 хв. ago

Україна отримала військову допомогу від Британії: Шаппс розповів, що в пакеті

Міністр оборони Великої Британії Грант Шаппс підтвердив військову допомогу, яка "поспіхом" передається Україні. За його словами,…

29 хв. ago

“Слуга народу” Мезенцева після таємного роману вийшла заміж за депутата Київради

Нардепка "Слуги народу" Марія Мезенцева вийшла заміж. ЇЇ чоловіком став за депутат Київради Юрій Федоренко. Про заміжжя…

37 хв. ago

Названо продукти та напої, що провокують набряки ніг

Набряк ніг, щиколоток і ступнів - це стан, який виникає, коли в тканинах накопичується рідина.…

49 хв. ago

“Технократ, який бере під контроль військові зусилля Путіна”: NYT про нового главу МО РФ

За понад два роки війни проти України президент Росії Володимир Путін виявив, що технократи, яких він зібрав…

57 хв. ago