Microsoft na Mobile World Congressu 2019 v Barceloně představil nové HoloLens. Na internetu už je spousta popisů z první ruky, ale zatím velmi málo podrobných. Microsoft také zatím nezveřejnil příliš mnoho detailů, kromě těch úplně nejzákladnějších parametrů. Rád bych se v tomto článku podíval na některé změny oproti HoloLens 1 blíže a vysvětlil jejich důvod, i když to vzhledem ke složitosti AR hardwaru bude letem světem.
Microsoft velmi intenzivně zapracoval na ergonomii, protože častý dotaz všech enterprise klientů je, jak dlouho v tom naši lidé vydrží. Přestože HoloLens 2 jsou ve všech ohledech výkonnější, mají výrazně lepší 3D scanner, snímače očí a jsou o 13 gramů lehčí než předchozí generace. Konkrétně váží 566 gramů.
Toho bylo dosaženo celou řadou drobných úprav. Část těla brýlí je z uhlíkového kompozitu. To má nejen vliv na váhu, ale i na pevnost. Pevnost není důležitá jen z hlediska mechanické odolnosti při běžném používání, ale pro běžného čtenáře možná i překvapivě kvůli přesnosti zobrazování a trackingu.
Odklopný displej a lepší váha
Pokud jste totiž porovnávali HoloLens 1, které už se nějakou dobu používaly, a HoloLens 1 zcela nové, tento nový model byl skoro dvakrát přesnější. Důvodem bylo právě to, že původní intrinsic parametry kamer se v důsledku mechanického namáhání víc a víc odlišovaly od skutečných parametrů kamery. V důsledku jste pak museli provádět vlastní kalibraci než se spoléhat na tu z výroby.
Další drobné úspory váhy jsou na 3D senzoru, který je vícespektrální. Pro více vlnových délek tak stačí jeden CCD čip. Dále hraje roli to, že nový elektrooptický zobrazovací systém potřebuje jen dvě vrstvy difrakčních světlovodů místo čtyř.
Hlavní změna ovšem spočívá v jiném rozložení váhy, kdy těžiště brýlí je přesně nad krční páteří, aby váha byla co nejlépe rozložena a minimálně zatěžovala krční svaly. Zajímavým důsledkem toho je, že výpočetní jednotka a baterie jsou nyní na týlu hlavy a principiálně oddělitelné, pokud by se například nevešly při nějaké speciální montáži do helmy. Je to podobné jako u brýlí DAQRI nebo Magic Leap One (zkušenosti s Magic Leap v našem článku).
Microsoft totiž představil partnerský program pro velké výrobce, který umožní integrovat HoloLens bez obalu (case) do zákaznického hardwaru jako částečně modulární platformu. Všechny tyto veskrze pozitivní změny jsou pravděpodobně důsledkem velké HoloLens zakázky pro americkou armádu.
Velmi vítanou změnou je display jednotka z očí, kterou lze odklopit. To je fajn pro vývojáře, ale ještě důležitější je to z hlediska bezpečnosti v průmyslu. Pokud totiž máte pevnou montáž brýlí na helmě, a to máte, protože nosit separátně brýle a helmu je nepohodlné a zbytečně těžké, dostanete se do situací, kdy z bezpečnostních důvodů musíte brýle sundat.
HoloLens 2 a další novinky z MWC 2019:
Obvykle je to v případě, kdy přicházíte do tmavých prostor, kde je světlo za vámi a v důsledku odrazů od displeje nic nevidíte. V případě HoloLens 1 to znamenalo sundat i helmu, což je samozřejmě porušení bezpečnostních pravidel. Uživatel tedy byl v situaci, že se buď zabije na schodišti, nebo dostane pokutu, když ho uvidí bezpečák.
Zobrazovací systém
HoloLens 1 používaly kombinaci LCOS mikrodispleje a čtyřvrstvých difrakčních světlovodů RGBG. Problém tohoto uspořádání je malé zorné pole. Fyzikální limit při zachování současné vzdálenosti od oka byl zhruba 35 stupňů diagonálně.
Možná někoho napadne, jak je možné, že při stejné technologii má Magic Leap One větší zorné pole. To je ze dvou důvodů. Magic Leap neumožňuje nosit pod headsetem dioptrické brýle, oko je velmi blízko světlovodům, což je velký ergonomický problém, ale hlavně bezpečnostní problém ve ztrátě periferního vidění.
Za druhé, Magic Leap nabízí brýle ve více velikostech. Není to kvůli velikosti hlavy uživatele, ale kvůli IPD (vzdálenosti mezi zornicemi). Díky tomu využívá celý eyebox displeje a neponechává žádnou safe zónu právě pro kompenzaci odlišné IPD. V praxi to ovšem znamená, že Magic Leap není příliš přenositelné zařízení mezi uživateli. Každopádně eyebox u Magic Leap je dokonce menší než u HoloLens 1.
Microsoft tedy potřeboval zvětšit eyebox, a to tak, aby navíc zachoval možnost nosit dioptrické brýle a možnost periferního vidění. A dokud neklesne cena, aby uživatelé mohli jeho brýle sdílet. Microsoft pravděpodobně našel řešení v patentu firmy Microvision na LBS (laser beam scanning) zobrazování. Zjednodušeně řečeno, místo LCOS mikrodispleje do světlovodů kreslí laser, který je rozmítán zrcátkem (MEMS). To umožňuje dosáhnout větších vstupních úhlů a zvětšit tak plochu eyeboxu a v konečném důsledku i zorné pole.
MEMS
Tato metoda má některé důsledky, které stojí za to zmínit. Všechny současné AR systémy nefungují dobře v exteriéru. Jedním z důvodů je to, že současná zobrazovací technika není schopná přesvítit venkovní osvětlení. HoloLens 1 mají světelnost cca 300 nits (odpovídá asi tak jasu běžného monitoru). HoloLens 2 mají díky použité metodě 500 až 600 nits a je tedy vidět, že použití laseru výrazně zlepšilo světelnost.
Pro to, aby byly brýle použitelné venku za slunečního dne, by ovšem musely být schopné generovat 7000 nits. Nebylo by možné laserem takové světelnosti dosáhnout? Čistě teoreticky ano, prakticky to ale není reálné. Za prvé, zvyšování výkonu laseru by velmi vysávalo baterii a ze tří hodin běhu by mohlo být jen několik minut, při takto vysokých požadavcích na světelný výkon.
Za druhé, kromě problémů s teplem v samotné optické soustavě by oko uživatele přijímalo příliš mnoho energie a mohlo by být poškozeno. Asi každého napadne, proč tedy neztmavovat obraz, aby nemusel být použit tak vysoký výkon. Věc se má tak, že z hlediska bezpečnosti práce je vyžadováno, aby takový filtr propouštěl 85 procent světla.
Microsoft se tedy nyní snaží, aby se zvýšením výkonu k tomuto parametru přiblížil. HoloLens 2 propouštějí kolem 70 až 75 procent světla, HoloLens 1 zhruba 60 procent a Magic Leap One méně než 50 procent. V budoucnu bychom se snad mohli dočkat dynamického filtru, který by se přizpůsoboval světelným podmínkám a nastavenému jasu tak, aby šetřil oči a baterii a zároveň odpovídal pravidlům ANSI.
Jako u všeho, použitá metoda zobrazování má i své nevýhody. HoloLens 1 zobrazovaly obraz konstantně na 60 FPS. HoloLens 2 ovšem fungují v jistém smyslu jako CRT monitor a kreslí paprskem. I přes velkou rychlost, jakým zrcátko kmitá, by při zachování stejného úhlového rozlišení nestihlo nakreslit celý obraz, takže sice kreslí 120krát za sekundu, ovšem prokládaně, 60 FPS efektivně. Je možné, že tak na krajích obrazu, na rozdíl od první generace brýlí, bude občas vidět drobný flickering.
Jak je to se zorným polem a úhly
Microsoft prezentoval více než dvojnásobné zorné pole. Mnoho lidí včetně redakce Technetu z toho usoudilo, že se zdvojnásobil horizontální zorný úhel, což tak bohužel není. Nové HoloLens mají diagonální zorný úhel 52 stupňů, při poměru stran 3:2, což dělá horizontálně 43,5 stupně na 29 vertikálně. HoloLens 1 mají diagonálně 35 stupňů, při poměru stran 16:9, což je 30 stupňů horizontálně na 17 vertikálně. Tedy plocha více než dvakrát větší, ovšem horizontálně se pozorovací úhel zvětšil cca o 30 procent, vertikálně o 70 procent.
Toto zvětšení na výšku má kromě většího zorného pole ještě jednu zásadní výhodu. Mnoho lidí, kteří si HoloLens nasazovali poprvé, si je nasadili špatně, příliš vysoko na nos a viděli pak uříznutý obraz. Nové HoloLens budou díky výraznému nárůstu výšky eyeboxu k tomuto problému mnohem méně náchylné.
Od Intelu k ARMu
Jedním z důvodů, proč se v současné době už nedají koupit HoloLens 1, je ukončení produkce dnes už slabých a zastaralých procesorů Intel Atom. Microsoft si navíc uvědomil, že Intel v oblasti mobilních procesorů zaostává a logicky pro další generaci zvolil procesor typu ARM. Konkrétně Snapdragon 850 od Qualcommu, se kterým má zkušenosti ze zařízení Surface.
Mnoho lidí na internetu se ptalo, proč Microsoft nesáhl po variantě XR s podporou AR/VR. Odpověď je jednoduchá. Microsoft má vlastní HPU jednotku, která je v oblasti SLAM mnohem výkonnější než Snapdragon XR. Ten by tak jen prodražoval brýle a byl v podstatě navíc.
Microsoft nepřevzal Snapdragon 850 jako komplet celý chipset, protože v brýlích nenajdeme podporu GSM ani GPS, ale o tom až dál v odstavci o konektivitě. Každopádně je převzaté GPU s podporou DirectX 12, 8Mpix kamera a většina parametrů, které se dají k tomuto chipsetu dohledat.
Zajímavější je, co nové CPU kromě zhruba čtyřnásobného výkonu konkrétně znamená pro vývojáře. HoloLens aplikace nebudou zpětně kompatibilní a bude třeba je rekompilovat, v případě knihoven v binárním kódu (třeba OpenCV bude muset počkat na Microsoft).
Microsoft se také vyjádřil v tom smyslu, že už nebude k dispozici emulátor. Ten totiž běžel jako virtuální x86 stroj a využíval hardwarové virtualizace na procesorech Intel. To samozřejmě u ARMu nepůjde. Zatím se zdá, že to není nijak plánováno ani s využitím cloudu.
Kinect for Azure a kognitivní funkce
HoloLens 2 jsou vybaveny novým Kinectem, který opět pracuje na principu Time of Flight. Ten má velice impresivní parametry a překonává všechny podobné současné 3D senzory. Megapixelové rozlišení depth mapy, dosah více než šest metrů s přesností pod jeden centimetr ve čtyřech metrech. Díky posunu fáze je ovšem schopen pracovat už od 20 centimetrů, takže zmizí občasné problémy se zachycením gest, pokud je uživatel používal příliš blízko brýlí.
Mimochodem, v jednom metru je přesnost kolem milimetru. Nový senzor je také velice rychlý, je schopen například zachytit míček v letu. Hlavní síla ovšem spočívá ve spojení s HPU 2.0 a Cognitive Services na Azure. Nové HPU umožňuje sledovat až 25 bodů v reálném čase, což bohatě stačí pro obě ruce až do úrovně prstů, ale v budoucnu pravděpodobně i pro sledování postav v dosahu senzoru.
Kinect kamera
Pro srovnání, Magic Leap One umí sledovat devět bodů a původní HoloLens umí jen několik elementárních a napevno zadaných gest. S novým senzorem a HPU bude pravděpodobně konečně možné provádět maskování/schování virtuálních objektů za fyzickýma rukama uživatele v reálném čase. To je velice potřebná funkce pro AR v medicíně a doposud to nebylo technicky možné.
Škoda, že je nový senzor omezen na 30 FPS a poskytuje tak data pro každý druhý snímek. Zřejmě by vyšší frekvence už příliš zatěžovala sběrnici. Navíc by se výrazně zvýšila šance, že při použití více brýlí naráz by došlo k rušení.
Pokrok ve sledování očí
Novinkou u HoloLens je sledování očí pomocí dvou mikrokamer u nánosníku. Microsoft je musel použít kvůli většímu FOV, které už vyžaduje korekci podle směru pohledu uživatele. Tracking ale umožnil i automatické nastavení IPD a identifikaci uživatele podle zornice. To je velice užitečná funkce v průmyslu v případě, že pracovník provádí navigovanou kontrolu nebo údržbu zařízení. Automaticky se ví, kdo a kdy ji dělal.
Sledování očí přinese i spoustu dalších praktických aplikací. V kolaborativním režimu bude možné vidět, na co se avataři jednotlivých uživatelů dívají, bude možné listovat pouze pomocí očí v dokumentech. A určitě se časem prosadí i foveated rendering, který zvláště u mobilních zařízení s omezeným výkonem bude dávat smysl.
Rozšířená konektivita
Jak už jsem výše zmínil, i když Microsoft použil chipset Snapdragon 850, odřízl z něj GSM a GPS modul. Zřejmě se mu nechtělo testovat s anténou a řešit přístup k SIM kartě. Raději počká na 5G a eSIM, a hlavně až bude zobrazování použitelné ve venkovním prostředí. Tím spíš to platí pro GPS.
Nicméně i tak oproti HoloLens 1 přibyl magnetometr, který by měl pomoci rychlejšímu zorientování v už dříve navštívených prostředích. Přibyla také podpora USB 3.0. Co zatím není známo, je to, zda bude k dispozici podpora USB OTG. Pro mnoho aplikací by se hodilo mít možnost k HoloLens připojit přes USB nějaké další vstupní zařízení. Toto zatím bohužel nebylo možné.
Samozřejmě s novým chipsetem přišly i vyšší standardy Bluetooth (nyní 5.0) a Wi-Fi. S tím, že Microsoft u nových HoloLens přešel z logiky ovládání „směr pohledu a klik gestem“ na obecná gesta. V balení už nenajdeme Bluetooth clicker. Také se zatím neví, zda byly zdvojeny obrazové buffery přední kamery, nebo už není nutné k nim přistupovat v exkluzivním režimu. To je velká bolest HoloLens 1, která velmi komplikuje současný video streaming s analýzou obrazu.
Novinky v softwaru
Aby všechny tyto změny fungovaly, mají nové HoloLens také výrazně inovovaný operační systém, který už je na půl cesty k budoucímu Core OS pro takzvaná always connected zařízení. Velká změna nastala v hlubším napojení na cloudové služby Azure, kde Microsoft cítí cestu, jak více enterprise klientů dostat do svého ekosystému.
HoloLens mohou být napojeny na nové služby, jako je cloudový rendering nebo sdílení anchorů skrze cloud a podobně. Otázka je, zda to bude fungovat. Naše zkušenost je taková, že většina zákazníků se bojí dávat svoje klíčová firemní data, jako jsou výkresy nebo konstrukční modely a postupy, mimo jejich vlastní hardware. Toto změnit přes odpor korporátních IT oddělení bude velice těžké.
Samostatnou kapitolou je také vývoj. Rekompilace aplikací pro nové brýle totiž nemusí být úplně snadná. Ani vývojáři menších projektů, kteří pracují třeba v Unity, nebudou mít vyhráno, protože na HoloLens 2 bude třeba použít novou verzi Unity, ve které už nebude podporovaný překlad přes .NET, ale IL2CPP. To ne vždy jde snadno změnit, nehledě na oblibu firmy Unity s každou novou verzí něco nového rozbít. Navíc v kombinaci s novější verzí Visual Studia, kde bude nutné nově buildovat UWP RT.
Osobně si myslím, že až budou hotovy všechny knihovny a konverzní nástroje (realisticky nejdřív červen), může být čistá konverze složitějších projektů otázkou tří až čtyř týdnů, u malých projektů a konceptů tak týden.
Nejvíce nejasností panuje kolem dostupnosti a zda vůbec bude možné koupit brýle bez toho, aby kupující byl certifikovaný partner Microsoftu. Česko rozhodně není v první vlně. Od insiderů vím, že brýle představené v Barceloně ještě neměly finální optiku a první dodávky „vyvoleným“ by měly přijít někdy koncem června až začátkem července. Cena bude 3500 dolarů, nebo 125 dolarů měsíčně minimálně na tři roky.
Určitě se dá říci, že HoloLens 2 jsou momentálně nejlepší existující AR brýle, téměř technologický zázrak na hranici současných možností. Microsoft má minimálně dva roky náskok před jakoukoliv konkurencí. Samozřejmě to nejsou brýle pro běžnou veřejnost. To ani není jejich cílem. Verze pro koncový trh bude muset vypadat nejspíš úplně jinak. Pravděpodobně bude mít podobu lehkého a senzory méně vybaveného doplňku k mobilnímu telefonu.
ČLÁNKY DO MAILU