Zhrnutie: Nová štúdia sa ponorí do tajomnej ríše hlbokých neurónových sietí a odhaľuje, že hoci tieto modely dokážu identifikovať objekty podobné ľudským zmyslovým systémom, ich identifikačné stratégie sa líšia od ľudského vnímania. Keď sa požaduje, aby generovali podnety podobné danému vstupu, siete často produkujú nerozoznateľné alebo skreslené obrázky a zvuky.
To naznačuje, že neurónové siete vyvíjajú svoje vlastné špecifické „invariancie“, ktoré sú úplne odlišné od ľudských vzorcov vnímania. Výskum poskytuje pohľad na hodnotenie modelov, ktoré napodobňujú ľudské zmyslové vnemy.
Dôležité fakty:
- Hlboké neurónové siete, keď sú generované stimuly podobné danému vstupu, často produkujú obrázky alebo zvuky, ktoré sa nijako nepodobajú na cieľ.
- Zdá sa, že modely vyvíjajú jedinečné nemennosti, odlišné od ľudských percepčných systémov, čo spôsobuje, že vnímajú podnety inak ako ľudia.
- Použitie kontradiktórneho tréningu môže spôsobiť, že stimuly generované modelmi budú pre ľudí lepšie rozpoznateľné, aj keď nie identické s pôvodným vstupom.
Zdroj: MIT
Ľudské zmyslové systémy sú veľmi dobré v rozpoznávaní predmetov, ktoré vidíme, alebo slov, ktoré počujeme, aj keď je predmet obrátený hore nohami alebo je slovo vyslovené hlasom, ktorý sme nikdy nepočuli.
Výpočtové modely známe ako hlboké neurónové siete môžu byť trénované tak, aby robili to isté, správne identifikovali obrázok psa, bez ohľadu na farbu jeho srsti alebo výšku hlasu hovoriaceho. Bez ohľadu na to identifikujú slovo. Nová štúdia neurovedcov z MIT však zistila, že tieto modely často reagujú rovnakým spôsobom dokonca aj na obrázky alebo slová, ktoré sa nijako nepodobajú na cieľ.
Keď sa tieto neurónové siete použili na generovanie obrazu alebo slova, na ktoré reagovali podobným spôsobom na konkrétny prírodný vstup, ako je napríklad obrázok medveďa, väčšina z nich vytvorila obrázky alebo zvuky, ktoré boli pre ľudského pozorovateľa nerozoznateľné. To naznačuje, že tieto modely vytvárajú svoje vlastné špecifické „invariancie“ – čo znamená, že reagujú rovnakým spôsobom na podnety s veľmi odlišnými charakteristikami.
Zistenia poskytujú výskumníkom nový spôsob, ako vyhodnotiť, ako tieto modely vysvetľujú organizáciu ľudského zmyslového vnímania, hovorí Josh McDermott, docent mozgových a kognitívnych vied na MIT a člen McGovern Institute for Brain Research and Center for Brains na MIT. dobre kopírujú. , Mozgy a stroje.
„Tento dokument ukazuje, že tieto modely môžete použiť na získanie neprirodzených signálov, ktoré sú nakoniec veľmi diagnostické pre reprezentáciu v modeli,“ hovorí McDermott, hlavný autor štúdie. „Tento test by sa mal stať súčasťou série testov, ktoré používame ako pole na hodnotenie modelov.“
Janelle Feather PhD ’22, teraz výskumná pracovníčka v Centre pre počítačovú neurovedu Flatiron Institute, je hlavnou autorkou dokumentu s otvoreným prístupom, ktorý bol dnes publikovaný. prírodná neuroveda, Autormi článku sú aj postgraduálny študent MIT Guillaume Leclerc a Alexandre Madry, profesor výpočtovej techniky Cadence Design Systems na MIT.
rôzne koncepty
V posledných rokoch výskumníci trénovali hlboké neurónové siete, ktoré dokážu analyzovať milióny vstupov (zvukov alebo obrázkov) a naučiť sa bežné funkcie, ktoré im umožňujú klasifikovať cieľové slovo alebo objekt približne tak presne ako ľudia. Nechajte to urobiť. Tieto modely sú v súčasnosti považované za popredné modely biologických senzorických systémov.
Predpokladá sa, že keď ľudský zmyslový systém urobí tento typ klasifikácie, naučí sa ignorovať vlastnosti, ktoré nie sú relevantné pre základnú identitu objektu, ako napríklad koľko svetla naň svieti alebo pod akým uhlom sa naň pozerá. byť videný z. Toto je známe ako invariantnosť, čo znamená, že objekty sa považujú za rovnaké, aj keď vykazujú rozdiely v týchto menej dôležitých charakteristikách.
„Klasicky, spôsob, akým sme uvažovali o zmyslových systémoch, je ten, že vytvárajú invarianciu do všetkých zdrojov variácií, ktoré sa môžu vyskytnúť v rôznych prípadoch tej istej veci,“ hovorí Feather. „Organizmus musí rozpoznať, že sú to isté, aj keď sa javia ako veľmi odlišné zmyslové signály.“
Výskumníci sa pýtali, či hlboké neurónové siete, ktoré sú trénované na vykonávanie klasifikačných úloh, môžu vyvinúť podobnú invarianciu. Aby sa pokúsili odpovedať na túto otázku, použili tieto modely na generovanie stimulov, ktoré vyvolali rovnaký typ reakcie v rámci modelu ako príklady stimulov, ktoré výskumníci poskytli modelu.
Tieto podnety nazývajú „modelové metaméry“, čím oživujú myšlienku klasického výskumu vnímania, pričom podnety nerozoznateľné pre systém môžu byť použité na diagnostiku jeho invariantnosti. Koncept metamérov bol pôvodne vyvinutý pri štúdiu ľudského vnímania na opis farieb, ktoré vyzerajú podobne, napriek tomu, že sú zložené z rôznych vlnových dĺžok svetla.
Na ich prekvapenie vedci zistili, že väčšina obrázkov a zvukov vytvorených týmto spôsobom nevyzerala a nezniela ako príklady, ktoré boli pôvodne uvedené v modeloch. Väčšina obrázkov bola spleť náhodne vyzerajúcich pixelov a zvuky zneli ako nepredstaviteľný šum. Keď výskumníci ukázali obrázky ľudským pozorovateľom, vo väčšine prípadov ľudia neklasifikovali obrázky syntetizované modelom do rovnakej kategórie ako pôvodný cieľový príklad.
„V skutočnosti ich ľudia vôbec nerozoznajú.“ Nevyzerajú ani neznejú prirodzene a nemajú interpretovateľné funkcie, ktoré môže človek použiť na klasifikáciu objektu alebo slova,“ hovorí Feather.
Zistenia naznačujú, že modely si nejakým spôsobom vyvinuli svoju vlastnú invarianciu, ktorá je odlišná od tej, ktorá sa nachádza v ľudských percepčných systémoch. To spôsobuje, že modely vnímajú páry podnetov ako podobné, aj keď sú úplne odlišné od človeka.
špecifická invariancia
Výskumníci zistili podobné účinky v niekoľkých rôznych modeloch zraku a sluchu. Zdá sa však, že každý z týchto modelov vyvinul svoju vlastnú jedinečnú invarianciu. Keď sa metaméry z jedného modelu ukázali inému modelu, metaméry boli pre druhý model rovnako neznáme ako pre ľudských pozorovateľov.
„Hlavným záverom je, že tieto modely sa javia ako invariantné,“ hovorí McDermott. „Naučili sa byť invariantmi k týmto konkrétnym dimenziám v oblasti stimulov a je to špecifické pre model, takže iné modely nemajú rovnaké invarianty.“
Výskumníci tiež zistili, že by mohli urobiť metaméry modelu lepšie rozpoznateľné pre ľudí pomocou prístupu nazývaného adversarial training. Tento prístup bol pôvodne vyvinutý na boj proti ďalšiemu obmedzeniu modelov rozpoznávania objektov, ktorým je, že zavedenie malých, takmer nepostrehnuteľných zmien na obrázku môže spôsobiť, že ho model nesprávne rozpozná.
Výskumníci zistili, že tréning protivníkov, ktorý zahŕňa pridanie niektorých z týchto mierne zmenených obrázkov do tréningových údajov, priniesol modely, ktorých metaméry boli pre ľudí lepšie rozpoznateľné, hoci boli stále rovnako rozpoznateľné ako pôvodné stimuly. Vedci tvrdia, že toto zlepšenie sa zdá byť nezávislé od vplyvu tréningu na schopnosť modelov odolávať útokom protivníkov.
„Táto konkrétna forma tréningu má veľký vplyv, ale v skutočnosti nevieme, prečo má tento účinok,“ hovorí Feather. „Toto je oblasť pre budúci výskum.“
Výskumníci tvrdia, že analýza metamérov produkovaných výpočtovými modelmi môže byť užitočným nástrojom, ktorý pomôže vyhodnotiť, do akej miery výpočtový model napodobňuje základnú organizáciu systémov ľudského zmyslového vnímania.
„Toto je behaviorálny test, ktorý môžete spustiť na danom modeli, aby ste zistili, či sú invarianty zdieľané medzi modelom a ľudskými pozorovateľmi,“ hovorí Feather. „Môže sa tiež použiť na vyhodnotenie toho, aká špecifická je variabilita v rámci daného modelu, čo môže pomôcť upozorniť na potenciálne spôsoby zlepšenia našich modelov v budúcnosti.“
Financovanie: Výskum financovali National Science Foundation, National Institutes of Health, Department of Energy Computational Science Graduate Fellowship a Friends of the McGovern Institute Fellowship.
O týchto novinkách z výskumu AI a vnímania
autor: sarah mcdonnell
Zdroj: MIT
kontakt: Sarah McDonnell – MIT
obrázok: Obrázok priradený Neuroscience News
Pôvodný výskum: otvorený prístup.
,Modelové metaméry odhaľujú rozdielnu transformáciu medzi biologickými a umelými neurónovými sieťami.Autor Josh McDermott a kol. prírodná neuroveda
abstraktné
Modelové metaméry odhaľujú rozdielnu transformáciu medzi biologickými a umelými neurónovými sieťami.
Modely hlbokých neurónových sietí senzorických systémov sa často navrhujú na učenie sa reprezentačných transformácií s transformáciami podobnými mozgu. Aby sme odhalili tieto invarianty, vytvorili sme „modelové metaméry“, stimuly, ktorých aktivácia v modelovej fáze zodpovedá prirodzenému stimulu.
Metaméry pre najmodernejšie modely neurónových sietí zraku a sluchu pod dohľadom a bez dozoru boli pre ľudí často úplne nerozoznateľné, keď boli generované z neskorých štádií modelu, čo naznačuje rozdiely medzi modelovými a ľudskými invarianciami. Cielené zmeny modelu zlepšili ľudskú identifikáciu metamérov modelu, ale neodstránili celkový nesúlad medzi modelom človeka.
Ľudská identifikácia metamérov z jedného modelu bola dobre predpovedaná ich identifikáciou inými modelmi, čo naznačuje, že model zahŕňa špecifické invarianty okrem tých, ktoré sú potrebné pre funkciu.
Schopnosť detekcie metaméru sa odchyľovala od tradičných referenčných hodnôt založených na mozgu, ako aj od nepriaznivej zraniteľnosti, čo odhalilo odlišný spôsob zlyhania existujúcich modelov snímania a poskytlo doplnkové kritérium pre hodnotenie modelu.
Web nerd. Organizátor extrémov. Spisovateľ. Evanjelista celkom potravín. Certifikovaný introvert.
