Nem, nem igazán nézel ki így

Útmutató az új, valósággal olvadó technológiához a telefon kamerájában

Amikor egy prominens Lewis Hilsenteger nevű YouTuber (más néven „Unbox Therapy”) tesztelte az őszi új iPhone modellt, az XS-t, észrevett valamit: Bőre különösen sima volt a készülék elülső arcát képező szelfikamerában, különösen a régebbi iPhone modellekhez képest . Hilsenteger egyfajta digitális sminkhez hasonlította. "Nem úgy nézek ki" - mondta a jelenséget bemutató videóban. "Ez furcsa ... Úgy néz ki, mintha alapozót hordanék."

Ő sem az egyetlen, aki észrevette a hatást, bár az Apple nem ismerte el, hogy bármi mást csinál, mint korábban. Hosszú iPhone-felhasználóként és amatőr fotósként beszélve tagadhatatlannak tartom, hogy a Portré mód - a világ legnépszerűbb telefonjainak legújabb kiadásában egy sátor technológia - felragyogott. A készülékkel töltött hetek során rájöttem, hogy a kamera átlépte a fénykép és a fauxtográf közötti küszöböt. Nem annyira „fényképeztem”, mint inkább a telefon szintetizálta őket.

Ez nem teljesen új jelenség: Minden digitális fényképezőgép algoritmusok segítségével alakítja át az érzékelőjét eltaláló különböző hullámhosszúságokat tényleges képpé. Az emberek mindig jó fényt kerestek. Az okostelefonok korszakában a Snapchat-től a FaceApp-ig a Beauty Plus-ig terjedő alkalmazások felajánlották arcod frissítését. Más telefonok hibát kiküszöbölő „szépségmóddal” rendelkeznek, amelyet szintén be- vagy kikapcsolhat. Figyelemre méltóvá teszi az iPhone XS bőrsimítását, hogy egyszerűen a kamera alapértelmezett. Készítsen szelfit, és ezt kapja.

Ezek a képek nem pontosan hamisak. De ezek nem is képek, ahogyan azt a napokban megértették, mielőtt számítógéppel fényképeztek.

Ez változott: a kamerák túl sokat tudnak. Minden kamera információt gyűjt a világról - korábban a fotonokkal kölcsönhatásban lévő vegyi anyagok rögzítették, és definíció szerint a fénykép egy rövid vagy hosszú expozíció volt a fényérzékelőnek. Most, a motorháztető alatt, a telefonkamerák több képbemenetről gyűjtenek információkat egy képkimenetbe, és ideghálózatokra támaszkodnak, amelyek képzettek a jelenetek megértésére, amelyekre mutatnak. Ezen egyéb információk, valamint az egyéni expozíció felhasználásával a számítógép egyre automatikusan és láthatatlanul szintetizálja a végső képet.

További történetek

A szárazjég forróbb, mint valaha

Hogyan emlékszik a jövő a COVID-19-re?

Az amerikaiak belefáradtak abba, hogy rosszul nézzenek ki a Zoom-on

A Twitter következő Trump-problémája

A tét nagy lehet: A mesterséges intelligencia megkönnyíti a videók új, fiktív videókká történő szintetizálását, amelyeket gyakran „mélyhamisításnak” neveznek. "Rövidesen olyan világban fogunk élni, ahol a szemünk rendszeresen megtéveszt bennünket" - írta kollégám, Franklin Foer. "Másképp fogalmazva: nem vagyunk olyan messze a valóság összeomlásától." A mélyhamisítás a valóság olvadásának egyik módja; egy másik az egyszerű telefonos fényképet a szemünkkel látott valóság tisztességes közelítéséről valami egészen másra változtatja. Mindenütt jelen van és alacsony hőmérsékletű, de nem kevésbé hatékony. És valószínűleg sokkal fontosabb a technológiai vállalatok jövője szempontjából.

A Hogyan látni a világot című médiatudós, Nicholas Mirzoeff a fotózást „a gépek által engedélyezett világ meglátásának módjának” nevezi. Nemcsak a gépek használatáról beszélünk, hanem arról a „hálózati társadalomról” is, amelyben képeket készítenek. Mirzoeff szerint pedig nincs jobb példa az „új hálózatba kötött, városi globális ifjúsági kultúrára”, mint a szelfi.

Úgy tűnik, hogy a telefongyártók és az alkalmazásgyártók egyetértenek abban, hogy a szelfik hajtják üzleti ökoszisztémájukat. Óriási erőforrásokat szántak az arcok fényképezésére. Az Apple szó szerint új szilícium chipeket hozott létre annak érdekében, hogy a cég ígérete szerint még azelőtt elkészíthesse az arcát, hogy felvételt készítene. Először is ott van az arcfelismerés. Ezután a telefon javítja az arc „tereptárgyait”, hogy megtudja, hol vannak a szem és a száj, valamint egyéb jellemzők. Végül az arc és az előtér többi része mélység-leképezésre kerül, így egy arc kiugrhat a háttérből. Mindezek az adatok az alkalmazásfejlesztők rendelkezésére állnak, ez az egyik oka annak, hogy az alkalmazások sokféle módon kezelhetik az arcot, például a Bögre élet, amely egyetlen fényképet készít és kvázi realisztikus hamis videókká alakítja őket parancsra.

Mindez a munka, amely egy évtizede hihetetlenül nehéz volt, és csak a közelmúltban volt lehetséges a felhőszervereken, most közvetlenül a telefonon fut, ahogy az Apple leírta. A vállalat egy gépi tanulási modellt képzett ki arra, hogy hatalmas számú képen arcokat találjon. A modell azonban túl nagy volt, ezért egy kisebb verziót képeztek ki az első kimeneteire. Ez a trükk lehetővé tette telefonon történő futtatását. Minden fénykép, amelyet minden iPhone készít, egy kis részben ennek a milliónyi képnek köszönhető, amelyet kétszer szűrtek át egy hatalmas gépi tanulási rendszeren keresztül.

De nemcsak a kamera tudja, hogy van egy arc, és hol vannak a szemek. A kamerák mostantól több képet is rögzítenek, hogy újakat szintetizáljanak. A Night Pixel, a Google Pixel új funkciója a legjobban magyarázható példa ennek működésére. A Google új technikákat dolgozott ki a több alsóbbrendű (zajos, sötét) kép egyetlen kiválóbb (tisztább, világosabb) képpé történő egyesítésére. Bármely fotó valóban egy csomó fotó keveréke, amelyet a központi expozíció körül készítettek. De akkor, mint az Apple esetében, a Google is gépi tanulási algoritmusokat alkalmaz ezen képek tetején. Az, amelyet a vállalat ismertetett, nyilvánosan segít a fehéregyensúly megteremtésében - ami elősegíti a kép valósághű színét - gyenge megvilágítás mellett. Azt is elmondta a Verge-nek, hogy „gépi tanulása érzékeli, hogy milyen objektumok vannak a keretben, és a kamera elég okos ahhoz, hogy tudja, milyen színűek legyenek”. Fontolja meg, hogy ez mennyiben különbözik egy normál fényképtől. A Google kamerája nem azt rögzíti, ami van, hanem azt, ami statisztikailag valószínű.

A képkészítés egyre automatizáltabbá vált. Olyan ez, mint a kereskedelmi pilóták, akik repülőgéppel repülnek: Az adott útnak csak csekély százalékában vannak kézi vezérlésben. Telefon-számítógép-kameráink zökkenőmentesen, láthatatlanul elhomályosítják a különbségeket a kamera és a számítógép között. Természetesen léteznek folyamatosságok már létező technikákkal, de csak akkor, ha valamilyen logaritmikus skálán ábrázolják a digitális fényképezés fejlődését.

A nagy dinamikus tartományú, vagyis HDR-fotózás a 2000-es években vált népszerűvé, dominálva a korai Flickr fotómegosztó webhelyet. A fotósok több (általában három) képet készítettek ugyanazon jelenetről, különböző megvilágítással. Ezután egymásra halmozták a képeket, és a legfényesebb fénykép árnyékairól, valamint a legsötétebb fénykép fénypontjairól vettek információkat. Tedd össze őket, és gyönyörű szürrealitást generálhatnak. A jobb kezekben egy HDR-fotó olyan jelenetet hozhat létre, amely sokkal jobban hasonlít a szemünk látására, mint a legtöbb fényképezőgép által gyártott képre.

A szemünk, különösen változó fényerő mellett, dinamikusan képes kompenzálni. Készítsen képet például a holdról. Maga a hold nagyon fényes, és ha megpróbálja lefényképezni róla, akkor úgy kell kitenni, mintha magas dél lenne. De az éjszaka sötét, nyilvánvalóan, és így a Hold részletes bemutatásához a jelenet többi része lényegében fekete. A szemünk gond nélkül láthatja a holdat és a földi tájat is.

A Google és az Apple egyaránt szeretné a HDR folyamatot ugyanolyan automatikusvá tenni, mint a szemünk beállításai. Beépítették a HDR-t az alapértelmezett kamerájukba, sorozatfelvételből készítve (a Google legfeljebb 15-et használ). A HDR egyszerűen a képek elkészítésének módjává vált a legtöbb ember számára. Mint a bőrsimításnál, már nem is igazán számít, hogy ezt látná-e a szemünk. Néhány új termék célja saját testünk lenyűgöző vizuális képességeinek felülmúlása. "A Night Sight célja, hogy olyan sötét jelenetekről készítsen fényképeket, amelyek nem láthatók tisztán a saját szemével - szinte úgy, mint egy szuperhatalom!" A Google írja.

A 19. század óta a kamerák képesek különböző sebességű, hullámhosszú és nagyítású képek rögzítésére, amelyek korábban rejtett világokat tárnak fel. A lenyűgöző a telefonfotózás jelenlegi változásaiban az, hogy éppúgy elárulják, hogy mi szeretnénk kinézni, mint a világ vizsgálata. Mintha egy szondát fedeztünk volna fel arcunk - vagy akár önmagunk - verzióinak megtalálásához és megosztásához, és ez a folyamat vezérli most a világ leginnovatívabb, legjövedelmezőbb vállalatainak viselkedését.

Eközben a vállalatok és a kormányok mást tehetnek az arcoddal: olyan arcfelismerő technológiákat hozhatnak létre, amelyek bármilyen kamerát megfigyelőgéppé alakítanak. A Google ígéretet tett arra, hogy addig nem értékesít „általános célú arcfelismerő” terméket, amíg a technológiával kapcsolatos etikai kérdések meg nem oldódnak, de az Amazon Rekognition már elérhető, csakúgy, mint a Microsoft Face API-ja, nem is beszélve a kínai internetcégek még szélesebb köréről erőfeszítések.

A világgazdaság az Ön arcához van bekötve. És hajlandó mozgatni az eget és a Földet, hogy láthassa, amit látni akar.