Obsah
Hype pro virtuální realitu za posledních pár let určitě zaniklo, a to v důsledku kombinace drahého hardwaru, tak výkonu a nemoci z pohybu a nedostatku uživatelského obsahu. Průmysl je v současné době zaseknut v tak trochu scénáři kuře a vejce, kde nedostatek spotřebitelů odrazuje investice do špičkového obsahu. K překonání patové situace bude zapotřebí výkonnější a nákladově výhodnější hardware VR pro masy.
Arm se snaží překonat některé z těchto technologických překážek svým vůbec prvním zobrazovacím procesorem (DPU) navrženým speciálně pro VR: Mali-D77. Stručně řečeno, Mali-D77 odkládá běžné úlohy zpracování VR z GPU, uvolňuje zdroje pro vyšší snímkové frekvence a zároveň pomáhá snižovat pohybovou nemoc.
Uvnitř paží Mali-D77
Většina z Mali-D77 je založena na 2017-Mali Mali-D71 pro vlajkové chytré telefony a další špičkové aplikace. Má stejný dekodér komprese, škálování vrstev, podporu HDR a jednotky správy barev. Nový design byl však optimalizován tak, aby podporoval rozlišení 3 kB rychlostí 120 snímků za sekundu, s podporou rozlišení 4 000 rychlostí až 90 snímků / s.
Hlavní změny přicházejí ve formě dvou zcela nových hardwarových akceleračních jednotek pro aplikace VR. Mali-D77 podporuje korekci objektivu a asynchronní Timewarp v hardwaru spíše než spouštět tyto algoritmy na GPU. Odhady odhadují, že to může uvolnit asi 15 procent zdrojů GPU, které mohou být použity na zvýšení rámcové sazby. Přenesení tohoto zatížení na DPU také poskytuje 40% úspory šířky pásma a 180 mW energie na vrstvu VR. Pěkný.
Korekce čočky je vyžadována v náhlavních soupravách VR k vyrovnání světelné křivky čoček náhlavní soupravy. Deformace válců se aplikuje na každý vykreslený rámeček, aby se vykompenzoval efekt zkreslení jehel čoček. Přemýšlejte o tom jako nadměrná kompenzace nebo „zpětné zkreslení“, aby zkreslení objektivu nakonec skončilo zobrazením správného obrazu. Tradičně se to děje na GPU, přičemž zabírá další cykly a čas. Mali-D77 to všechno dělá na DPU.
Kromě toho provádí Mali-D77 korekci chromatické aberace pomocí podobné metody zpětného zkreslení. Při použití této funkce budou barvy obrazu zobrazeny správně na celé čočce, a to i v rozích, kde může dojít ke zkreslení separace barev.
Co je asynchronní Timewarp?
Korekce objektivu je spíše samozřejmá, ale asynchronní Timewarp je trochu více zapojený. Zde Arm používá zobrazovací procesor k otáčení, zkosení a deformaci obrázků, aby kompenzoval pohyby uživatele a zároveň zmírnil jakoukoli GPU nebo jinou latenci zobrazovacího potrubí.
S hardwarem současné generace je sledování pohybu osy X, Y, Z aktualizováno synchronně s GPU, protože GPU musí vykreslit změnu pohledu při každém pohybu. S asynchronním časovým pásmem již nejsou tyto dva aktualizovány společně. Můžete se pohybovat hlavou mezi aktualizacemi GPU a Mali-D77 může deformovat aktuální snímek tak, aby odpovídal vašemu pohybu hlavy.
Jedná se o nepatrný efekt, protože mezi vykreslenými snímky trvá jen zlomek sekundy a nevylučuje potřebu rychlého vykreslování snímků. Výrazně to však zvyšuje plynulost a plynulost pohybu a pohybu, protože aktualizace mohou nastat ještě častěji, než je rychlost snímkování GPU. Rozpojení mezi pohybem vašeho těla a viděním vizuální aktualizace je hlavní příčinou nemoci z pohybu ve VR, takže Mali-D77 může v tomto ohledu hodně pomoci.
Data pohybu osy X, Y, Z jsou přiváděna přímo do Mali-D77 z CPU, čímž zcela obchází fázi GPU. Jedná se o velmi odlišný způsob, jak dělat věci, a jako takový bude vyžadovat, aby vývojáři využili novou sadu vývojových nástrojů a technik. Toto je pravděpodobně největší překážka s D77. Naštěstí technici Arm úzce spolupracují s iniciativami, jako je OpenXR, takže jsme mohli vidět oznámení API pro zjednodušenou podporu vývojářů v budoucnosti.
Arm Mali-D77 je inteligentní a logický vývoj heterogenní výpočetní myšlenky, která pomáhá řešit některé z největších problémů s hardwarem virtuální reality. V bezdrátové komunikaci, sledování a nákladových segmentech VR ještě zbývá vyřešit další překážky, než bude možné znovu zvážit přijetí hlavního proudu, ale Mali-D77 pomáhá rozbít některé problémy s výkonem.
