Gdy nowy użytkownik po raz pierwszy założy gogle HoloLens 2, urządzenie automatycznie go zidentyfikuje, mierząc wszystkie parametry: m.in. kształt dłoni oraz dokładną odległość między oczami. Microsoft ogłosił, że trwa już wysyłka pierwszych HoloLens 2 do klientów. Wypełnione czujnikami holograficzne gogle wykorzystują AI do tworzenia mieszanej rzeczywistości ludzi, miejsc i rzeczy w celu ułatwienia jednego z naszych najbardziej podstawowych ludzkich impulsów: wymiany wiedzy.
– Chcemy, żeby użytkownicy wiedzieli, jak używać HoloLens bez konieczności uczenia się technologii. Wiemy, jak wchodzić w interakcje z przedmiotami w realnym świecie: podnosimy je, naciskamy przyciski, wskazujemy na nie. Staramy się, na ile to możliwe, przełożyć to bezpośrednio na rzeczywistość mieszaną – dodał Jamie Shotton.
Alex Kipman, Microsoft Technical Fellow, powiedział, że: – zestaw HoloLens definiuje najwyższą jakość inteligentnych tzw. egde devices – technologii obsługujących sztuczną inteligencję, które mogą zbierać i przetwarzać dane nawet bez niezawodnego połączenia z Internetem. Dane te mogą być potem (w całości lub częściowo) udostępniane za pośrednictwem inteligentnej chmury.
Zdaniem Kipmana, HoloLens jest pierwszym urządzeniem stworzonym od podstaw z myślą o przetwarzaniu bez granic (ang. ubiquitous computing).
Mariaż sztucznej inteligencji w HoloLens 2 z możliwościami chmury Azure, platformy przetwarzania w chmurze Microsoftu, pozwala pracownikom fizycznym nabywać umiejętności, które rozwijają ich karierę zawodową, a także dają szansę ludziom z przeciwległych krańców Ziemi, mówiącym różnymi językami, współpracy z poczuciem fizycznej obecności.
– Zarówno z HoloLens, jak i z chmurą można robić naprawdę interesujące rzeczy – powiedziała Julia White, wiceprezes ds. marketingu Azure w Microsoft. – Kiedy widzisz, że te dwa rozwiązania się łączą, zmienia się podejście do tego, co ludzie mogą faktycznie zrealizować.
Rzeczywistość mieszana ze sztuczną inteligencją
Aby umożliwić instynktowne interakcje z HoloLens 2, Shotton i jego koledzy opracowali i wdrożyli modele AI do urządzeń, które śledzą ruchy rąk i wzrok ludzi, aby np. mogli dostrzec pływający przed nimi hologram. Wówczas wystarczy wyciągnąć rękę, aby dokonać zmiany jego rozmiaru lub położenia.
Stworzenie systemu śledzenia rąk wymagało zbudowania specjalnej platformy z kopułą i kamerami skierowanymi do wewnątrz. Następnie zespół pracujący nad tym rozwiązaniem wykorzystał przetwarzanie w chmurze w trybie offline do zbudowania modelu 3D zdolnego do reprezentowania wszystkich kształtów i ruchów rąk.
Wykorzystując model 3D, zespół był w stanie z pomocą grafiki komputerowej wyrenderować realistyczne, syntetyczne obrazy dłoni wraz z syntetycznymi modułami, aby model 3D dostosowywał się do różnych kształtów, pozycji i ruchów dłoni.
– Możesz efektywnie wygenerować nieograniczone ilości danych – dodał Shotton. Zespół wykorzystał te dane do nauki głębokiej sieci neuronowej, swego rodzaju algorytmu AI, który pasuje do pokładowego procesora HoloLens i działa efektywnie na każdej ramce pochodzącej z czujnika głębokości wbudowanego w urządzeniu.
Kiedy nowy klient zakłada HoloLens 2, system wykorzystuje sieć neuronową do dopasowania spersonalizowanego modelu 3D do rąk klienta, umożliwiając precyzyjne śledzenie wymagane do uruchomienia instynktownej interakcji z hologramami.
Zespół Shottona zastosował podobne podejście do budowania i treningu modelu śledzenia oka (ang. eye tracking), zwracając szczególną uwagę na to, co nazywa się odległością międzypalcową lub odległością między centrami źrenic oczu, która różni się w zależności od osoby i wpływa na to, jak osoba widzi bliskie lub odległe przedmioty.
Rezultatem jest model, który pozwala HoloLens 2 precyzyjnie wyświetlać hologramy przed klientami w celu interakcji i sterowania za pomocą dłoni i oczu.
– Bez śledzenia wzroku, dostosowanie hologramów do świata rzeczywistego – zwłaszcza fizycznej ręki danej osoby – byłoby po prostu niemożliwe. W ten sposób udało się osiągnąć precyzję umożliwiającą instynktowną interakcję – powiedział Shotton.
AI na krawędzi chmury
Możliwość śledzenia ruchu dłoni i oczu, wraz z innymi inteligentnymi funkcjami, takimi jak jednoczesna lokalizacja i mapowanie, które są niezbędne, aby hologramy wyglądały na „przypięte” do świata w miarę przemieszczania się osoby, są osadzone na HoloLens 2 w niestandardowym chipie drugiej generacji, zwanym jednostką przetwarzania holograficznego lub HPU 2.0.
Kipman porównuje tę klasę zdolności urządzenia wyposażonego w AI do percepcji mózgu. – Twój mózg wykonuje operacje, które są tak instynktowne, że o nich nie myślisz.
Ten rodzaj inteligencji sprawia, że bije nasze serce, oddychają płuca, a oczy weryfikują, czy coś leży blisko, czy daleko. Kiedy jesteśmy spragnieni, nasze oczy instynktownie mierzą odległość do szklanki z wodą, którą następnie nasze ręce podnoszą do ust.
„Percepcja AI” na HoloLens 2 umożliwia ludziom manipulowanie i interakcję z hologramami bez obawy o to, co nazywa się opóźnieniem – zazwyczaj potrzeba setek milisekund, aby dane dotarły do chmury, zostały przetworzone i wróciły.
– Nawet dziesiątki milisekund oznaczają znaczącą różnicę percepcyjną, kiedy na przykład naciskasz przycisk na hologramie lub przewijasz oczami tekst na hologramie– zauważył Shotton. – Ten czas zwrotu jest krytyczny.
Innym powodem, dla którego wykonywanie obliczeń przez AI na urządzeniu może być utrudnione, są obawy o prywatność. Skany tęczówki, które HoloLens 2 wykonuje w celu uwierzytelnienia klientów, są rodzajem danych osobowych, których ludzie mogą nie chcieć wysyłać do chmury.
Kipman dodał, że w przypadku wielu innych rodzajów danych istnieje jednak korzyść polegająca na przesłaniu ich do chmury: Kiedy już tam dotrze, klient może skorzystać z Azure AI i usług rzeczywistości mieszanej i połączyć dane z urządzenia z danymi z całej wszechobecnej struktury komputerowej. To pozwala na bardziej zaawansowane obliczenia lub pozyskanie wiedzy.
Współpraca w chmurze
– Kluczową zaletą inteligentnych hologramów opartych na chmurze jest możliwość dzielenia się informacjami z innymi użytkownikami, którzy mają HoloLens lub inne urządzenie o podobnych możliwościach – podsumowuje Marc Pollefeys, dyrektor Mixed Reality i AI Zurich Lab Microsoft w Szwajcarii.
Pollefeys nadzoruje zespół, który opracowuje algorytmy wizyjne dla usługi chmury mieszanej o nazwie Azure Spatial Anchors, pozwalającej na przetrwanie hologramów zamkniętych w świecie rzeczywistym. Są one dostępne dla każdego, kto dysponuje odpowiednim poziomem dostępu.
Na przykład, dzięki technologii kotwic przestrzennych menedżerowie w fabryce są w stanie umieszczać hologramy obok sprzętu na linii montażowej, która zawiera istotne informacje dotyczące obsługi i konserwacji w czasie rzeczywistym, do których dostęp ma każdy pracownik posiadający kompetencje do pracy w rzeczywistości mieszanej.
Pollefeys i jego zespół opracowali komputerowe algorytmy wizyjne AI, które przetwarzają dane z czujników w celu wydobycia trójwymiarowych informacji geometrycznych o środowisku i układają je razem w chmurze, tworząc cyfrową bliźniaczą mapę obszaru zainteresowania.
HoloLens zawsze budował trójwymiarowe lub przestrzenne zrozumienie swojego otoczenia. Azure Spatial Anchors tworzy, dopracowuje i udostępnia te mapy w różnych urządzeniach. Dlatego mapy z poszczególnych urządzeń są łączone i przechowywane w chmurze.
– Posiadanie danych tylko na jednym urządzeniu nie ma sensu. To jest jedna z tych rzeczy, w których każdy użytkownik ma mały kawałek układanki, ktoś inny ma kolejny, a wszystkie urządzenia razem pokrywają całą interesującą przestrzeń. Współtworzone w ten sposób mapy stają się gęstsze, bardziej precyzyjne i mają większą szansę przetrwać próbę czasu, ponieważ różne urządzenia zdolne do współdziałania w rzeczywistości mieszanej – np. właśnie HoloLens lub odpowiednio wyposażone telefony, tablety czy laptopy – mapują otoczenie i dzielą się danymi w chmurze.
Mapa hali produkcyjnej, na której zostały umieszczone hologramy unoszące się nad elementami wyposażenia na linii montażowej, jest stale udoskonalana, ponieważ coraz więcej pracowników wykorzystuje hologramy za pomocą swoich urządzeń.
Możliwość ta przewiduje również scenariusze, takie jak spotkanie architektów i klientów w celu obejrzenia i interakcji z holograficznym projektem 3D budynku. Każda z osób biorących w nim udział ma na sobie urządzenie wykorzystujące rzeczywistość mieszaną, patrząc na projekt ze swojego punku widzenia.
Azure zawiera gotowe, predefiniowane usługi do pisania aplikacji dla tego typu doświadczeń na HoloLens i innych urządzeń typu mixed reality, w tym na smartfony i tablety z systemem operacyjnym iOS i Android.
Możliwości krzyżowania urządzeń i platform umożliwia np. tworzenie takich projektów jak Minecraft Earth, który łączy popularną grę wideo z rzeczywistością mieszaną. Gracze mogą budować i umieszczać wirtualne struktury w realnym świecie, a inni gracze mogą wchodzić z nimi w interakcję na swoich urządzeniach.
Technologia zaprojektowana dla ludzi
Aby HoloLens mógł działać zgodnie z założeniami, technologia, która leży u jego podstaw, musi rozumieć świat w sposób podobny do tego, jak ma to miejsce w przypadku ludzi.
Dlatego specjaliści w Microsoft opracowali, wdrożyli i wykorzystali rozwiązania oparte o AI w całej strukturze, od silikonu w goglach HoloLens 2 do Azure AI i usług z zakresu rzeczywistości mieszanej.
Nadrzędnym celem w pracach nad przetwarzaniem bez granic jest skłonienie ludzi w naturalny dla nich sposób do interakcji.