Wyjaśnienia dotyczące technologii śledzenia dłoni i haptycznego sprzężenia zwrotnego

Aby stworzyć bardziej immersyjne i interaktywne środowisko, gogle do rzeczywistości wirtualnej (VR) i mieszanej (MR) wykorzystują różne technologie, w tym śledzenie dłoni i haptyczne sprzężenie zwrotne.

Te funkcje łączą świat cyfrowy i fizyczny, aby poprawić wrażenia użytkownika. Mogą one również znacznie poprawić wyniki biznesowe, zarówno poprzez zwiększenie zapamiętywalności i wyróżnienie się, jak i poprawę produktywności oraz rozwijanie kreatywności dzięki VR/MR.

Przyjrzyjmy się korzyściom, jakie technologia śledzenia dłoni i haptycznego sprzężenia zwrotnego w VR/MR może przynieść Twojemu zespołowi.

Wprowadzenie do technologii śledzenia dłoni w MR

Śledzenie dłoni w VR/MR daje użytkownikom większą swobodę – oznacza to, że nie muszą korzystać z kontrolera w metawersum. Mogą wchodzić w interakcje z obiektami za pomocą naturalnych ruchów dłoni lub na zmianę dłoni i kontrolerów. Gesty dłoni w VR/MR sprawiają również, że ruchy awatara wyglądają bardziej realistycznie.

Technologia śledzenia dłoni wykorzystuje kamery zamontowane w goglach Meta Quest. Kamery wykrywają i śledzą położenie dłoni, orientację i ułożenie palców. Funkcja Direct Touch w goglach Meta Quest pozwala dotykać paneli i przewijać je palcami. Można przesuwać zawartość, dotykać obiektów i zmieniać położenie paneli jak na zwykłym tablecie. Wiele ruchów śledzenia dłoni opiera się na znajomym geście „ściśnięcia palcami”, którego ludzie używają w VR lub MR.

Śledzenie dłoni można w każdej chwili wyłączyć za pomocą kontrolera VR/MR, używając przełącznika w sekcji Ustawienia > Śledzenie ruchu > Śledzenie dłoni i ciała. Po wyłączeniu tej funkcji urządzenie Meta Quest opiera się na położeniu i orientacji gogli oraz kontrolerów.

Co to jest haptyczne sprzężenie zwrotne w MR?

Haptyczne sprzężenie zwrotne w VR/MR ma na celu odtworzenie wrażeń dotykowych w metawersum. Haptyka łączy to, co użytkownik widzi w metawersum, z tym, co odczuwa poprzez swoje ciało.

Przykładem haptycznego sprzężenia zwrotnego, które jest już stosowane w wielu grach wideo, są wibracje lub drgania. Wibracje zapewniają również haptyczne sprzężenie zwrotne, gdy użytkownik dotyka np. smartfonu lub smartwatcha. Ponadto haptyka jest wykorzystywana w aplikacjach VR/MR do zapewnienia bardziej interaktywnych, dotykowych wrażeń – np. poprzez symulację oporu podczas popychania wirtualnych drzwi. Bardziej wyrafinowane zastosowania, takie jak odtworzenie padających kropli deszczu, gwarantują niezapomniane przeżycia w VR/MR.

Kontrolery Meta Quest Touch Pro i Meta Quest Touch Plus wykorzystują haptykę TruTouch do zapewniania bardziej realistycznego sprzężenia zwrotnego. Czujniki w spustach, podkładce pod kciuk i przycisku uchwytu wykrywają lekkie ruchy, takie jak zginanie lub przesuwanie palca wskazującego. Celem haptyki TruTouch jest stworzenie poczucia, że kontrolery są naturalnym przedłużeniem dłoni.

Korzyści ze śledzenia dłoni i haptycznego sprzężenia zwrotnego dla firm

Śledzenie dłoni i technologia haptycznego sprzężenia zwrotnego w MR zapewniają wiele korzyści dla firm:

• Intuicyjne szkolenia: Technologie te dają poczucie immersji i umożliwiają naukę bardziej skoncentrowaną na działaniu niż teorii. Osoba przeszkolona w wirtualnej symulacji wykorzystującej haptykę i śledzenie dłoni będzie lepiej wiedziała, co zrobić w rzeczywistej sytuacji. 60% respondentów w ankiecie zgodziło się ze stwierdzeniem, że symulacje VR/MR dały im pewność siebie podczas stosowania umiejętności w praktyce, a w sektorze energetyki i użyteczności publicznej odsetek ten wyniósł aż 82%¹.

• Ułatwienia dostępu: Śledzenie dłoni może być bardziej dostępne niż ekrany dotykowe lub klawiatury dla niektórych pracowników – szczególnie tych, którzy mają trudności z obsługą kontrolerów lub deficyty poznawcze.

• Pobudzenie kreatywności: Nowe metody pracy mogą pobudzić kreatywność w organizacjach, zwiększając innowacyjność i zwrot z inwestycji. Na przykład 76% respondentów w ankiecie zgodziło się ze stwierdzeniem, że VR/MR pomaga zwiększyć tempo innowacji w ich organizacjach².

• Większa produktywność: Bardziej praktyczne podejście może usprawnić projektowanie produktów, ich testowanie oraz tempo powstawania kolejnych iteracji. Globalna marka przekąsek , Mondelēz, za pomocą VR/MR skróciła fazę projektowania koncepcyjnego 3D z kilku tygodni do kilku godzin.

• Wyróżnienie się: Śledzenie dłoni i technologia haptyczna mogą pomóc firmom wyróżnić się w oczach potencjalnych pracowników i konsumentów, zwłaszcza jeśli zostaną wykorzystane w działaniach marketingowych i rekrutacyjnych.

• Testowanie produktów: Śledzenie dłoni może służyć do wirtualnego testowania produktów, w ramach którego haptyczne sprzężenie zwrotne pomaga konsumentom ocenić produkt w środowisku VR/MR.

Śledzenie dłoni i haptyczne sprzężenie zwrotne w akcji

Technologia śledzenia dłoni i haptyczne sprzężenie zwrotne przysłużyły się następującym organizacjom:

• Firma Pfizer wykorzystała śledzenie prędkości dłoni i haptyczne sprzężenie zwrotne do szkolenia personelu w zakresie utrzymywania sterylności środowiska medycznego. Na przykład gdy operator nieprawidłowo posługiwał się dłońmi w symulacji VR/MR, gogle Meta Quest emitowały ostrzeżenie w postaci wibracji.

• Organizacja Vehicles for Change stworzyła program symulacji szkoleniowej VR/MR dla mechaników samochodowych, w którym wirtualny instruktor przeprowadzał kursantów przez serię 15 zadań. Każde zadanie odtwarza praktyczną, złożoną naturę szkolenia w zakresie mechaniki, nie wymagając do tego prawdziwego warsztatu. Ruchy dłoni muszą być precyzyjne, aby zapewnić dokładność.

• Instytucja The Centre for Healthcare Innovation (CHI) w Singapurze wykorzystała VR/MR do stworzenia realistycznej symulacji punktu pobrań krwi w celu przeszkolenia personelu pielęgniarskiego. Uwzględnienie bodźców wzrokowych, słuchowych i dotykowych pozwoliło zapewnić bogate wrażenia podczas szkolenia w VR/MR, które zostało pozytywnie ocenione przez 100% uczestników.

Nawiąż współpracę z Meta for Work

Zobacz, jak rozwiązania zarządzane Meta Horizon mogą skalować Twoją organizację z wykorzystaniem rzeczywistości wirtualnej i mieszanej. Dowiedz się, jak wykorzystać VR i MR do budowania przyszłości pracy i edukacji, zapoznając się z naszymi przykładami sukcesów. Aby rozpocząć, po prostu

Przeczytaj więcej o pracy w rzeczywistości mieszanej (MR):

Jakie są najlepsze gogle VR do pracy?
Dlaczego dźwięk przestrzenny to dźwięk przyszłości

Źródła

1. „Ankieta: VR w pracy, 2023” przeprowadzona przez CCS Insight (zlecone przez Meta badanie z udziałem 500 respondentów z Wielkiej Brytanii i Stanów Zjednoczonych, którzy korzystają z VR w pracy), luty 2024 r.
2. „Ankieta: VR w pracy, 2023” przeprowadzona przez CCS Insight