Obsah
Kromě výpočetní fotografie, vysoce kvalitního hardwaru fotoaparátu a procesorů obrazových signálů jsou špičkové mobilní fotografie stále častěji využívány algoritmy strojového učení - známé také jako umělá inteligence (AI). Tato fotografická technika slibuje zlepšení kvality ve snaze dosáhnout kvality podobné DSLR a zároveň nabízí kreativní nové způsoby fotografování a úpravy obrázků a videa.
Klíčem ke strojovému učení je použití neuronových sítí. Toto je typ algoritmu, který je často přirovnáván k lidskému mozku. Toto srovnání je odvozeno ze schopnosti neuronové sítě být školena pomocí dat, rozpoznávat vzory, což jí umožňuje provádět vysoce přesné klasifikace pro komplexní typy dat, jako jsou audio a obrázky.
Pokud jde o fotografii, schopnost pozorovat, učit se, generovat a klasifikovat má širokou škálu aplikací. Tyto aplikace mohou zahrnovat funkce, jako je stavba na výpočetních fotografických technikách, vylepšení algoritmů pro následné zpracování, softwarový bokeh v reálném čase se 4K videem, nebo dokonce zcela výměna barev oblečení, které máte na sobě.
Jak fungují neuronové sítě
Neuronové sítě jsou nesmírně složité téma, takže se zde budeme zabývat pouze základy. Pro pokročilejší čtení si přečtěte průvodce zde a zde.
Neuronové sítě jsou tvořeny uzly, což je významnější místo, kde se provádí výpočet. Každý uzel kombinuje vstup s váhou, která zesiluje nebo zeslabuje význam tohoto konkrétního uzlu. Několik uzlů často pracuje paralelně a vytváří vrstvu uzlů, která provádí větší úkol. Může to být například detekce funkcí v rámci obrazu. Více uzlů a vrstev lze sčítat a přenést do jiných uzlů a vrstev, čímž se vytvoří hlubší síť s výkonnějšími schopnostmi.
Výstup z každého uzlu a vrstvy je škálován jako pravděpodobnostní funkce. Při pohledu na spoustu různých funkcí a atributů může neuronová síť hodnotit vstup jako pravděpodobnostní shodu se všemi očekávanými potenciálními výstupy. Algoritmy detekce obrazu rozhodují o tom, zda obrázek vypadá spíše jako kočka nebo oranžová, ale musíte mu sdělit, co hledat jako první.
Neuronové sítě nejsou naprogramovány jako tradiční počítačové algoritmy. Místo toho jsou vyškoleni na datových sadách, jako jsou obrázky, zvukové soubory atd. Hmotnosti každého uzlu jsou postupně upravovány v průběhu času pomocí zpětnovazební smyčky, na základě toho, jak dobře síť dokázala přizpůsobit vstupy správným výstupům. Toto postupné „učení“ pravidel vyžaduje značnou přípravu, čas a výpočetní výkon, ale přináší fenomenálně přesné výsledky.
Neuronové sítě uvnitř smartphonu
Neuronové sítě mohou běžet na různých hardwarových komponentách, včetně částí CPU a GPU běžných uvnitř řady výpočetních zařízení, včetně smartphonu. Některé neuronové sítě však mohou vyžadovat více výpočetního výkonu, než tyto hardwarové komponenty mohou poskytnout, a vyhrazený hardware může poskytnout optimální potřebné zpracování.
V mobilní platformě Qualcomm® Snapdragon ™ 855 najdete například nejnovější digitální procesor signálu Qualcomm® Hexagon ™ 690 (DSP), který se může pochlubit vylepšenými jednotkami pro zpracování vektorů a novým Tensor Accelerator speciálně pro úkoly strojového učení. Ostatní mobilní platformy Snapdragon mají také komponentu Hexagon DSP s různými schopnostmi. S tím bylo řečeno, neuronové sítě se neomezují pouze na běh na DSP na Snapdragon a dalších mobilních platformách. Typ použitého procesoru závisí na pracovní zátěži.
Vylepšení strojového učení Qualcomm Snapdragon 855 ve srovnání s předchozí generací
Qualcomm Technologies otevírá své schopnosti DSP a strojového učení vývojářům třetích stran prostřednictvím SDK Qualcomm® Neural Processing. To umožňuje aplikacím spouštět neuronové sítě na kterémkoli z hardwarových jader uvnitř mobilní platformy Snapdragon. Například chytré telefony Google Pixel se napojují na Hexagon DSP a vlastní Visual Core, aby zrychlily působivou funkci HDR + fotografie. Qualcomm Technologies spolupracuje s dodavateli softwaru, jako jsou Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho a další, a podporuje funkce od videa bokeh po vytvoření avataru pomocí strojového učení běžícího na DSP.
AI by mohla utvářet budoucnost fotografie
Nyní víme, jak fungují neuronové sítě, důležitá otázka je, co by pro nás a naše fotografie mohlo udělat?
Neuronové sítě se používají ke zlepšení řady běžných fotografických algoritmů. De-šum, například, by mohl být zlepšen tréninkem, aby nabídl vynikající vyčištění obrazu přizpůsobené konkrétní kameře nebo typu záběru. Podobně, v případě slabého světla, může neuronová síť detekovat jasné a tmavé části obrazu, což umožňuje vylepšení světla a barev v určitých částech scény.
Pokročilejší případy použití jsou ve fotografování smartphonů stále běžnější. Přiblížení s vysokým rozlišením používají neuronové sítě ke sloučení více obrázků do jediného snímku s vysokým rozlišením pro dosažení dokonale vypadajícího digitálního zoomu. Neuronové sítě by také mohly být vyškoleny k přesnému sešití několika expozic fotografií společně pro vylepšené HDR a noční snímky.
Fotografování AI by mohlo zahrnovat zoom s vysokým rozlišením, bokeh v reálném čase a vylepšenou kvalitu obrazu.
Video by také mohlo mít prospěch z přijetí této technologie. Detekce objektů v reálném čase je navržena tak, aby umožňovala aplikacím při nahrávání efektů softwaru bokeh přímo do videa. Podobné techniky také podporují výměnu a odstraňování objektů v reálném čase. To zahrnuje výměnu pozadí ve videu, změnu nebo odstranění barev a dokonce i výměnu oděvů nebo superponování digitálních avatarů přímo do vašeho videa.
Síla neuronových sítí a fotografování AI sahá od vylepšení kvality, které pomáhají uzavřít mezeru v DSLR, až po výkonné nástroje pro kreativitu, které pomáhají vyrábět jedinečný obsah hračkou. V každém případě jde o výkonnou technologii, která je zásadní pro budoucí vylepšení směřující k mobilní fotografii.
Další: Mezinárodní dárek Google Pixel 3 XL!
Obsah sponzorovaný společností Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine a Qualcomm Kryo jsou produkty společnosti Qualcomm Technologies, Inc. a / nebo jejích dceřiných společností.
