Obsah

• Omezený rozpočet výkonu
• Šířka pásma a vysoké rozlišení
• Nízké latence a zobrazovací panely
• Zvuk a senzory
• Vývojáři a software
• Zabalit

Konečně jsme se ponořili hluboko do revoluce, jak by to někteří mohli říci, s hardwarovými a softwarovými produkty, které jsou na trhu spousty, a proudí zdroje, aby povzbudily inovace. Jsme však už více než rok, co se v tomto prostoru uvádí na trh hlavní produkt, a stále čekáme na tuto zabijáckou aplikaci, aby se virtuální realita stala hlavním úspěchem. Zatímco čekáme, nový vývoj stále dělá virtuální realitu životaschopnějším komerčním řešením, ale stále existuje řada technických překážek, které je třeba překonat, zejména v mobilním VR prostoru.

Omezený rozpočet výkonu

Nejzjevnější a dobře diskutovanou výzvou, před kterou stojí aplikace pro virtuální virtuální realitu, je mnohem omezenější rozpočet na energii a teplotní omezení ve srovnání s ekvivalentem stolního počítače. Spuštění náročných grafických aplikací z baterie znamená, že k zachování životnosti baterie je zapotřebí méně energie a efektivní využití energie. Kromě toho blízkost zpracovatelského hardwaru k uživateli znamená, že ani tepelný rozpočet nelze posunout o nic vyšší. Pro srovnání, mobil obvykle pracuje v rámci limitu pod 4 watty, zatímco stolní grafická jednotka GPU může snadno spotřebovat 150 wattů nebo více.

Je všeobecně známo, že mobilní VR se neshoduje s hardwarem stolního hardwaru, ale to neznamená, že spotřebitelé nevyžadují pohlcující 3D zážitky s ostrým rozlišením a vysokou snímkovou frekvencí.

Je všeobecně známo, že mobilní VR nebude odpovídat stolnímu hardwaru pro surovou energii, ale to neznamená, že spotřebitelé nebudou požadovat ponořené 3D zážitky v ostrém rozlišení a s vysokými obnovovacími frekvencemi, a to i přes omezenější výkon rozpočet. Mezi sledováním 3D videa, zkoumáním obnovených 360 stupňových míst a dokonce i hraním her je stále mnoho případů použití vhodných pro mobilní VR.

Při pohledu zpět na váš typický mobilní SoC to vytváří další problémy, které jsou méně často oceněny. Ačkoli mobilní SoC dokážou zabalit do slušného uspořádání osmijádrových procesorů a nějakého pozoruhodného výkonu GPU, není možné tyto čipy provozovat při plném náklonu, a to kvůli spotřebě energie i tepelným omezením uvedeným výše. Ve skutečnosti chce procesor v instanci mobilní VR běžet co nejmenší dobu a uvolnit GPU, aby spotřeboval většinu omezeného rozpočtu na energii. Nejenže to omezuje zdroje dostupné pro herní logiku, výpočty fyziky a dokonce i mobilní procesy na pozadí, ale také zatěžuje základní úkoly VR, jako je kreslení hovorů pro stereoskopické vykreslování.

Toto odvětví již pracuje na řešeních, která se netýkají pouze mobilních telefonů. Multiview rendering je podporován v OpenGL 3.0 a ES 3.0 a byl vyvinut přispěvateli společností Oculus, Qualcomm, Nvidia, Google, Epic, ARM a Sony. Multiview umožňuje stereoskopické vykreslování s pouhým jedním vyvoláním volání, spíše než jedním pro každý bod pohledu, což snižuje požadavky na CPU a také zmenšuje vrcholnou úlohu GPU. Tato technologie může zlepšit výkon o 40 až 50 procent. V mobilním prostoru je Multiview již podporována řadou zařízení ARM Mali a Qualcomm Adreno.

Další novinkou, která se očekává, že se objeví v připravovaných mobilních produktech VR, je skryté vykreslování. Foveating rendering, použitý ve spojení s technologií sledování očí, zjednodušuje zatížení GPU pouze tím, že přesný ohnisko uživatele vykreslí pouze v plném rozlišení a snižuje rozlišení objektů v periferním vidění. Příjemně doplňuje systém lidského vidění a může výrazně snížit zatížení GPU, čímž se šetří energie a / nebo uvolní se více energie pro další úlohy CPU nebo GPU.

Šířka pásma a vysoké rozlišení

I když je výpočetní výkon v situacích mobilní VR omezený, je platforma stále sledována podle stejných požadavků jako ostatní platformy virtuální reality, včetně požadavků na zobrazovací panely s nízkou latencí a vysokým rozlišením. Dokonce i ti, kteří si prohlíželi displeje VR, kteří se mohou pochlubit rozlišením QHD (2560 x 1440) nebo rozlišením 1080 × 1200 Rift headsetu na jedno oko, budou pravděpodobně jasností obrazu trochu podlomeni. Aliasing je obzvláště problematický vzhledem k tomu, že naše oči jsou tak blízko obrazovky a hrany se během pohybu objevují obzvláště drsně nebo zubaté.

I když je výpočetní výkon v situacích mobilní VR omezený, je platforma stále sledována podle stejných požadavků jako jiné platformy virtuální reality, včetně požadavků na zobrazovací panely s nízkou latencí a vysokým rozlišením.

Brute force řešení je zvýšit rozlišení displeje, s 4K je další logický vývoj. Zařízení však musí udržovat vysokou obnovovací frekvenci bez ohledu na rozlišení, přičemž 60 Hz je považováno za minimum, ale mnohem výhodnější je 90 nebo dokonce 120 Hz. To představuje velkou zátěž pro systémovou paměť, kdy kdekoli jsou dva až osmkrát více než dnešní zařízení. Šířka pásma paměti je v mobilním VR již omezenější než v stolních produktech, které využívají rychlejší vyhrazenou grafickou paměť než sdílený fond.

Možná řešení, jak ušetřit na grafické šířce pásma, zahrnují použití kompresních technologií, jako je standard ARM a AMD Adaptive Scalable Texture Compression (ASTC) nebo bezeztrátový formát Ericsson Texture Compression, což jsou obě oficiální rozšíření OpenGL a OpenGL ES. ASTC je také podporován v hardwaru v nejnovějších GPM pro Mali ARM, Nvidia v Kepler a Maxwell Tegra SoC a v nejnovějších integrovaných GPU Intelu a v některých scénářích může ušetřit více než 50 procent šířky pásma oproti použití nekomprimovaných textur.

Použití komprese textury může výrazně snížit šířku pásma, latenci a paměť vyžadovanou 3D aplikacemi. Zdroj - ARM.

Lze použít i jiné techniky.Použití teselace může vytvořit podrobnější geometrii pohledu z jednodušších objektů, třebaže vyžaduje některé další podstatné zdroje GPU. Odložené vykreslování a předávání pixelů zabraňuje vykreslování uzavřených pixelů, zatímco architektury Binning / Tiling lze použít k rozdělení obrazu na menší mřížky nebo dlaždice, které jsou vykresleny samostatně, přičemž všechny mohou ušetřit na šířce pásma.

Alternativně nebo výhodně navíc mohou vývojáři provádět oběti v kvalitě obrazu, aby se snížilo napětí na šířce pásma systému. Hustota geometrie může být obětována nebo agresivnější utracení použito pro snížení zátěže a rozlišení dat vrcholů může být sníženo na 16 bitů, oproti tradičně používané 32bitové přesnosti. Mnoho z těchto technik se již používá v různých mobilních balíčcích a společně mohou pomoci snížit zatížení na šířku pásma.

Nejen, že paměť je hlavním omezením v mobilním VR prostoru, ale je to také poměrně velký spotřebitel energie, často rovný spotřebě CPU nebo GPU. Díky úsporám na šířce pásma a využití paměti by měla přenosná řešení virtuální reality vidět delší životnost baterie.

Nízké latence a zobrazovací panely

Když už mluvíme o problémech s latencí, zatím jsme viděli pouze VR headsety se sportovními OLED zobrazovacími panely, a to hlavně kvůli rychlému přepínání pixelů pod milisekundu. Historicky byl LCD spojován s problémy s duchem pro velmi rychlé obnovovací frekvence, což je pro VR nevhodné. Výroba LCD panelů s velmi vysokým rozlišením je však stále levnější než ekvivalent OLED, takže přechod na tuto technologii by mohl pomoci snížit cenu náhlavních souprav VR na dostupnější úroveň.

Zpoždění pohybu na foton by mělo být menší než 20ms. To zahrnuje registraci a zpracování pohybu, zpracování grafiky a zvuku a aktualizaci zobrazení.

Displeje jsou obzvláště důležitou součástí celkové latence systému virtuální reality, což často činí rozdíl mezi zdánlivým a podobným zážitkem. V ideálním systému by měla být latence pohybu k fotonu - doba mezi pohybem vaší hlavy a odezvou displeje - kratší než 20 milisekund. Je zřejmé, že 50ms displej zde není dobrý. V ideálním případě musí být panely menší než 5 ms, aby se přizpůsobily také čidlo a zpoždění zpracování.

V současné době existuje kompromis mezi výkonem a cenou, který upřednostňuje OLED, ale to se může brzy změnit. LCD panely s podporou vyšších obnovovacích frekvencí a nízkých časů odezvy na bílou, které využívají nejmodernějších technik, jako je například blikání zadních světel, by se na účet mohly dobře hodit. Japan Display předvedl právě takový panel v loňském roce a můžeme vidět, že jiní výrobci oznamují podobné technologie také.

Zvuk a senzory

Zatímco většina běžných témat virtuální reality se točí kolem kvality obrazu, pohlcující VR vyžaduje také vysoké rozlišení, prostorově přesné 3D zvukové senzory a senzory s nízkou latencí. V mobilní oblasti to vše musí být provedeno v rámci stejného rozpočtu s omezeným výkonem, který ovlivňuje CPU, GPU a paměť, což představuje další výzvy.

Dříve jsme se dotýkali problémů se zpožděním senzoru, ve kterých musí být pohyb zaregistrován a zpracován jako součást meze latence 20ms pohybu na foton. Když vezmeme v úvahu, že náhlavní soupravy VR používají 6 stupňů pohybu - rotace a vybočení v každé z os X, Y a Z - a nové technologie, jako je sledování očí, existuje značné množství konstantních údajů, které lze shromažďovat a zpracovávat, a to vše s minimem latence.

Řešení, která udržují tuto latenci co nejnižší, do značné míry vyžadují přístup end-to-end, přičemž hardware i software jsou schopny tyto úkoly provádět paralelně. Naštěstí u mobilních zařízení je používání vyhrazených procesorů pro snímání nízkého výkonu a vždy zapnuté technologie velmi běžné, a tyto pracují s poměrně nízkým výkonem.

Pro audio je 3D pozice technika, která se dlouho používá pro hraní her apod., Ale použití přenosové funkce spojené s hlavou (HRTF) a zpracování konvolučních reverbů, které jsou vyžadovány pro realistické umístění zdroje ozvučení, jsou docela náročné úkoly procesoru. Ačkoli je lze provádět na CPU, vyhrazený digitální signálový procesor (DSD) může provádět tyto typy procesů mnohem efektivněji, a to jak z hlediska doby zpracování, tak i výkonu.

Kombinace těchto funkcí s požadavky na grafiku a zobrazení, které jsme již zmínili, je zřejmé, že použití více specializovaných procesorů je nejúčinnějším způsobem, jak splnit tyto potřeby. Viděli jsme, že Qualcomm hodně využívá heterogenní výpočetní schopnosti své vlajkové lodi a nejnovějších mobilních platforem Snapdragon střední úrovně, které kombinují řadu procesorových jednotek do jediného balíčku s funkcemi, které příjemně vyhovují splnění mnoha těchto potřeb mobilních VR. U řady mobilních VR produktů, včetně samostatného přenosného hardwaru, uvidíme typ napájení balíčků.

Vývojáři a software

A konečně, žádné z těchto hardwarových vylepšení není mnoho dobrých bez softwarových sad, herních modulů a SDK na podporu vývojářů. Koneckonců, nemůžeme mít každého vývojáře, který by objevoval kolo pro každou aplikaci. Pokud se chystáme vidět širokou škálu aplikací, je klíčové udržet nízké náklady na vývoj a co nejrychlejší rychlosti.

Zejména sady SDK jsou nezbytné pro implementaci klíčových úkolů zpracování VR, jako je asynchronní Timewarp, korekce zkreslení objektivu a stereoskopické vykreslování. Nemluvě o řízení výkonu, teploty a zpracování v heterogenních hardwarových sestavách.

Naštěstí všichni hlavní výrobci hardwarové platformy nabízejí vývojářům sady SDK, ačkoli trh je poněkud roztříštěný, což má za následek nedostatečnou podporu napříč platformami. Například Google má svůj VR SDK pro Android a vyhrazený SDK pro populární Unity engine, zatímco Oculus má svůj Mobile SDK postavený ve spojení s Samsung pro Gear VR. Důležité je, že skupina Khronos nedávno představila svou iniciativu OpenXR, jejímž cílem je poskytnout API pokrývající všechny hlavní platformy jak na úrovni zařízení, tak na aplikačních úrovních, aby se usnadnil snadnější vývoj napříč platformami. OpenXR viděla podporu ve svém prvním virtuálním realitním zařízení někdy před rokem 2018.

Zabalit

Navzdory některým problémům se technologie vyvíjí, a do jisté míry již zde, což činí mobilní virtuální realitu funkční pro řadu aplikací. Mobilní VR má také řadu výhod, které se jednoduše nevztahují na ekvivalenty stolních počítačů, což z něj učiní platformu hodnou investic a intrik. Faktor přenositelnosti činí z mobilního VR atraktivní platformu pro multimediální zážitky a dokonce i lehké hraní, aniž byste potřebovali kabely připojené k výkonnějšímu počítači.

Široký počet mobilních zařízení na trhu, která jsou stále více vybavena funkcemi virtuální reality, z toho činí platformu volby pro oslovení největšího cílového publika. Má-li se virtuální realita stát běžnou platformou, potřebuje uživatele a mobil je největší uživatelská základna, na kterou se dá klepnout.