Tento článek vznikl na základě četných dotazů, diskusí a záznamu představení brýlí Vision Pro od Applu, které byly prezentovány na konferenci WWDC 2023. Chci se hlouběji podívat na technologii, s níž Apple přišel, a porovnat ji s tím, co je dnes dostupné.
Apple nezveřejnil mnoho technických dat, takže některé odhady nemusí být přesné. Brýle nebudu dopodrobna popisovat, protože předpokládám, že jste už o nich slyšeli. Spíše se budu věnovat jednotlivostem, které mi přijdou zajímavé, nebo si myslím, že je třeba je vysvětlit.
Jsou to brýle pro AR, nebo VR?
Jsou to brýle pro MR, tedy mixed reality. Jenže Apple nerad používá standardní termíny a razí si svoje názvosloví, jako třeba blended reality a podobně, aby následně mohl tvrdit, že je v tom první. Je to taková PR hra.
MR brýle jsou VR brýle s pass through. To, že brýle od Applu vypadají průhledně, je způsobeno reverzním pass through, tedy displejem i zvenčí. Možná je nejdříve třeba vysvětlit tyto pojmy.
Pro AR (AR je zkratka pro rozšířenou realitu) se používají v podstatě dvě technologie. První je optický průhled, do této kategorie spadají například Microsoft HoloLens nebo Magic Leap. Druhou technologií je digitální průhled spadající do kategorie MR. Jde o pass through, kdy se uživatel dívá na displej, na který jde obraz okolí z kamer umístěných vně na brýlích. Mezi zástupce této technologie patří Varjo, Meta Quest Pro, HTC Vive Elite a další.
Obě tyto technologie mají svá pro a proti, o čemž se ještě dál zmíním. Každá se hodí pro něco jiného. Jedna technologie zatím druhou nedokáže nahradit a ještě dlouho to nebude možné. Optický průhled je technicky komplikovanější, ale vhodnější pro fyzickou práci.
AR se někdy používá i ve vztahu k mobilním zařízením, které přimíchávají něco do obrazu ze zadní kamery, takže je v tom názvosloví pěkný zmatek. Docela dobré vysvětlení dává níže přiložené schéma.
Konstrukce
Brýle představené Applem jsou velice tenké. Je pravděpodobné, že mají zatím nejvyšší integraci součástek z MR brýlí vůbec. To je velice důležité, protože pro kvalitní pass through je potřeba, aby kamery a strukturální senzory byly co nejblíž skutečnému oku uživatele. I malá vzdálenost od něj totiž vede k tomu, že střed rotace je jinde a následně pohyb prostředí není přirozený, nesedí paralaxa, rychlost otáčení prostředí.
To je jeden z důvodů, proč jsou na brýlích strukturální sensory a proč v nich musí být i výkonný chip Apple R1. Aby se tomuto problému vyhnuli, provádí se velmi sofistikovaný a výpočetně náročný warping obrazu v reálném čase. I tak je těžké zajistit, aby nedocházelo k žádným deformacím a seděla škála, hlavně u blízkých objektů, jako jsou třeba ruce. Očekávám, že v tomto budou brýle od Applu excelovat díky konstrukci. Na druhou stranu, z principu je jasné, že zcela bez deformace v plném rozsahu a zcela bez latence, jako u optického průhledu, to nejspíš nebude.
To byla pozitiva. Vzhledem k použitým materiálům a hustotě integrace budou brýle pravděpodobně docela těžké. Apple neuvedl váhu, ale první úniky to potvrzují. Vision Pro nemají dnes už standardní řešení v podobě halo s protiváhou, takže celá váha bude na obličeji. Toto není ideální, hlavně pro práci. Lepší rozložení váhy totiž umožňuje posunout těžiště nad krční páteř a kompenzovat momenty sil při rotaci hlavy. Většina těžších brýlí nebo brýlí, u kterých se očekává delší doba použití v jednom zátahu, dnes volí právě toto řešení s halo.
Další nepříjemnou volbou jsou preskripční skla, uživatel si tedy nemůže do headsetu vzít dioptrické brýle. Možná je třeba říci proč. Většina profesionálních AR i MR brýlí má dnes snímání pohybu očí. V případě AR brýlí, jako jsou HoloLens, je před očima vizor, jenž neuzavírá výhled do stran. Máte výborné periferní vidění, nesmírně důležité pro práci v AR, ale také nechává dost světla pro kamery snímající zornice.
U VR/MR brýlí toto není možné a je nutné oči přisvětlovat IR diodami. Jejich světlo tak musí projít dioptrickými skly a neodrážet se od nich. Toto většina dioptrických skel neumožňuje, takže jednou z metod je nandávat speciální sklíčka na magnetech (preskripce).
Tohle řešení je bohužel dost nešťastné. Krom toho, že tato skla budou stát dalších zhruba 500 dolarů, to v podstatě znamená, že brýle jsou jen velmi obtížně přenositelné na jiného uživatele, pokud nemá kontaktní čočky. Vyřazuje to ze hry všechny use cases, jako jsou školení zaměstnanců, sdílení brýlí ve školách, domácnostech, muzeích a podobně. V dnešní době se už používá spíše dioptrický adaptér, jaký má HTC Vive na obrázku.
Zvláštním rozhodnutím je externí baterie na kabelu. Bylo by totiž rozumnější použít ji jako protiváhu na halo, nebo pomocí ní umožnit aspoň hotswap. Chápu, že šlo o to snížit váhu, ale pak se nabízí otázka, proč tedy u baterie není i část elektroniky, která nepotřebuje zero latency (jako to má Magic Leap). To by kromě snížení váhy zlepšilo také tepelný komfort.
Chápu, že Apple chtěl sdílenou paměť mezi procesory M2 a R1, ale toto řešení by automaticky umožnilo i remote computing. Navíc váze by stejně nejlépe prospělo dát pryč sklo a leštěný hliník a místo toho na konstrukci použít uhlíkový kompozit, jako to dělá Microsoft s HoloLens 2.
Na tomto místě si dovolím spekulaci, že konstrukce Vision Pro už je v některých ohledech překonaná a působí dojmem, že brýle měly vyjít dříve. To se ale nestihlo a mezitím některé prvky zastaraly, protože už nešly v pozdějších fázích vývoje změnit. Naopak pass through a hustota integrace je špičková.
Není FOV jako FOV
Apple zveřejnil údaje o 23 megapixelech, problém je, že toto číslo vlastně neznamená vůbec nic. U brýlí, ať už AR, nebo VR, jde totiž především o PPD. Tedy počet pixelů na stupeň, úhlové rozlišení. Bohužel neznáme FOV (zorný úhel). Můžeme ale zkusit nějaký odhad.
Podle tvaru a velikosti brýlí se dá čekat FOV někde mezi 110 až 120 stupni. Víme, že Apple použil 4K čip na oko, což odpovídá 2× 16 Mpx (tedy 32). Ale protože obraz obou očí se musí částečně překrývat a nevíme, jak tento překryv do těch výsledných megapixelů zahrnují, můžeme odhadnout, že výsledný obraz bude něco jako 6000 × 4000 bodů. A pokud jsou pixely čtvercové, aspect ratio bude 3:2, PPD cca kolem 50. To je velice dobré číslo. Běžné VR brýle se pohybují kolem 30 a konzumace obsahu bude na brýlích od Applu velmi dobrá.
Na druhou stranu, pokud se podíváme na profesionální brýle pro průmyslový design, které se pohybují v podobné cenové hladině (třeba Varjo), ty mají PPD kolem 70. Pokud se podíváme na VR brýle pro trénink pilotů, opět v podobné cenové hladině (české XTAL od VRgineers), ty mají FOV 180 stupňů.
Je dobré si uvědomit, že v AR ještě hraje roli další FOV, a to je FOV pro periferní vidění. Průhledové brýle totiž mají poměrně malé FOV, kde se kreslí obraz, kolem 42 až 43 stupňů, ale téměř neomezené FOV pro vidění skutečného světa kolem, což je nesmírně důležité pro bezpečný pohyb a orientaci uživatele ve fyzickém prostředí. Je možné, že proto Apple neukázal žádný volný pohyb vestoje, protože na reálnou práci FOV dnešních MR brýlí prostě zatím nestačí. Shrnuto: Velmi dobré PPD, běžné FOV pro digitální obsah, malé periferní FOV pro trenažéry nebo bezpečnou práci ve fyzickém prostředí.
Reverzní pass through
Tady musíme Applu připsat body za to, že je první, kdo tuto technologii dostal na komerční produkt, i když první, kdo se jí zabýval, byla Meta. Pravdou ovšem je, že to zřejmě ještě není tak úplně hotové, protože všechna videa s běžícím venkovním displejem zatím vypadají jako render. A těch pár šťastlivců, kteří mohli brýle zkusit, se v nich nesměli fotit ani to komentovat.
Každopádně tato technologie by mohla aspoň částečně řešit sociální distanc ve VR, ale má i spoustu dalších zajímavých využití. Lidé kolem bez brýlí by mohli vidět, na co se daný uživatel dívá, jakou má třeba přiřazenou ikonu, číslo, v jakém je stavu a podobně. O předstírání nebo zakrývání emocí navenek nemluvě. Nevýhodou samozřejmě je, že překryvné sklo samozřejmě značně zvyšuje váhu, běžící displej pak samozřejmě i spotřebu, plus produkuje teplo.
Užití je největší kámen úrazu
Pro mě osobně je největším problémem celé prezentace to, že Apple nedokázal ukázat žádnou killer aplikaci, kvůli které by si profesionální uživatel měl takové brýle koupit. Vlastně nerozumím tomu, proč, když mají zřejmě nejlepší pass through, neukázali něco, co by nikdo jiný zatím nedokázal – například nahradit skutečný nábytek v místnosti jiným designovým, virtuálním.
Toto nejde na optickém průhledu udělat, protože je aditivní, a vzhledem ke kompaktní konstrukci by Apple v tomto mohl být lepší než Varjo. Místo toho předvedli use case nahrazení počítače a monitoru a cenovou výhodnost takového řešení. Bohužel tento typ virtuálních desktopů existuje na různých platformách už roky a nikdo ho skutečně masivně nepoužívá. Důvod je jednoduchý a je stejný pro všechny VR/MR brýle. Současné brýle totiž příliš nerespektují fyziologii oka, respektive zatím není k dispozici technologie, která by to dokázala.
Jedním z problémů je tzv. VAC, tedy konflikt mezi tím, kde mozek vidí virtuální objekt a kam ostří oči. Všechny brýle mají tuto hodnotu napevno někde mezi metrem a dvěma metry, protože je to nejpohodlnější pro oční svaly. Jenže to neodpovídá tomu, co mozek vidí, například virtuální monitor na půl metru. Navíc oko normálně neustále ostří tam a zpátky, takže fixovaný oční sval vyčerpává jak oko, tak zrakové centrum.
Aby to bylo ještě horší, čočka v brýlích není plochá, takže VAC se ještě mění s úhlem pohledu. Toto je jeden z důvodů, proč je pro práci vhodnější průhledový displej, většina obrazu je reálná, VAC tam není a ta část, která je syntetická, má VAC aspoň konstantní, protože zobrazovací světlovody jsou ploché. Tímto problémem trpí všechny VR/MR brýle, a dokud nepřijde varifokální nebo lightfield optika, nebude to mít řešení. Proto se VR používá buď ke krátkodobé konzumaci obsahu, nebo tam, kde je to život, čas zachraňující technologie.
Dobrá zpráva je, že tyto technologie se pomalu blíží do produkce. Na letošním Siggraphu má Meta představit první prototyp varifokálních brýlí. Je tu také česko-švýcarský startup CREAL, který má v prototypu lightfield optiku pro AR i VR.
Obecně se dá říci, že současné profesionální brýle se kvůli těmto problémům vždy specializují na nějaký konkrétní segment využití. Toto u Apple Vision Pro nevidím. Apple se snaží o co nejlepší nespecifické brýle. Otázkou je, zda tato strategie bude v profi segmentu fungovat.
Spíše to na mě dělá dojem, že Apple původně chtěl vyrobit prémiové brýle pro koncového uživatele a v průběhu vývoje zjistil, že to zatím nejde kvůli příliš vysokým nákladům udělat, tak hledal nějaký zástupný use case k ospravedlní verze Pro a její cenovky.
Specifickou kapitolou je software, na kterém nakonec nejvíc záleží. Tady může být Apple velmi napřed díky svému ekosystému. Velmi bude ovšem záležet na tom, kam se nakonec Vision Pro vyprofiluje. V celém segmentu už vznikly konečně nějaké standardy jako OpenXR či webXR a je otázkou, zda je bude Apple ochoten akceptovat. Je totiž něco jiného tlačit vlastní standard pro koncové uživatele a něco jiného do oblasti enterprise. Tam už nějaké standardy jsou a enterprise je také zvyklý na určitý software, nechce být závislý na jedné konkrétní platformě a například změna softwaru a proapplecesů znamená obří personální náklady.
Evoluce, nikoliv revoluce
Apple Vision Pro jsou dle mého názoru spíše evolucí než revolucí. Určitě je dobře, že se Apple přidal do seznamu firem, které na této technologii pracují, protože to přinese nové nápady i finance. Těžko říct, jaké má Apple představy o prodejích. Nečekám, že první generace přinese nějaká převratná čísla, zvláště při této ceně a možnostech využití.
Na druhou stranu, pokud se Applu v další iteraci podaří vyřešit VAC a některé konstrukční problémy, brýle budou opravdu široce použitelné. Pak by měla smysl i vyšší cena (pro profesionální použití). Pokud se to Applu nepovede, je otázka, zda pro konzumaci obsahu uživatelům nebude stačit výrazně levnější Meta Quest 3, který bude mít velmi podobné parametry a přijde na trh už na podzim za cenovku 500 dolarů.