Participants
Huszonegy egészséges, normál vagy normálisra korrigált látású önkéntes vett részt a vizsgálatban. Öt személyt kizártunk az adatelemzés előtt a következő kizárási kritériumok legalább egyike miatt: túlzott mozgás a felvétel során, az átlagtól két szórás alatti viselkedési teljesítmény, vagy technikai problémák miatt hiányos felvételek. A MEG-elemzéshez 16 alany (nyolc nő; átlagéletkor 25,9, SD = 4,33) adatai maradtak. A választott mintanagyság az EEG/MEG-adatok többváltozós dekódolását alkalmazó korábbi tanulmányokon alapult16,17,23 . E 16 alany közül tizennégy további tizennégy vett részt egy online viselkedéses nyomonkövetési kísérletben. A kísérletet megelőzően minden alany tájékozott, írásbeli beleegyezését adta. A Massachusetts Institute of Technology (MIT) Committee on the Use of Humans as Experimental Subjects jóváhagyta a kísérleti protokollt (COUHES No 1606622600), és a vizsgálatot az emberi résztvevőkkel végzett munkára vonatkozó összes vonatkozó etikai előírásnak megfelelően végezték.
Kísérleti terv és ingerek
Az arcfeldolgozás időbeli dinamikájának vizsgálatához az alanyok különböző identitású arcképeket tekintettek meg, miközben figyelték az azonos képek egymást követő ismétlődéseit (pl, 1-back feladat; 1a. ábra) a MEG-ben. Identitásként nyolc ismerős (azaz híres amerikai színészek) és nyolc ismeretlen (azaz német színészek) hírességet választottunk, amelyek ortogonálisan változtak a nem és az életkor tekintetében, úgy, hogy fele nő és fele férfi volt, és fele fiatal (azaz a maximális életkor 36 év volt) és fele idős (azaz a minimális életkor 59 év volt). Megjegyezzük, hogy itt a nem alatt az arc nemét értjük.
Azért, hogy minden alany valóban ismeri az ismert identitások halmazát, az alanyok a vizsgálat előtt egy online szűrőfeladatot töltöttek ki. Ezen a szűrésen a 16 identitás mindegyikének egy-egy képét mutattuk be nekik (a MEG-vizsgálatban használt képektől eltérően), és megkérdeztük, hogy ismerik-e a bemutatott személyt. Csak olyan alanyokat vontunk be a vizsgálatba, akik mind a nyolc ismert személyazonosságot felismerték (pl. a nevük megadásával vagy olyan kontextusokkal, amelyekben emlékeztek a személyre).
A MEG-vizsgálatban használt végső ingerek mind a 16 személyazonosság öt szürkeárnyalatos képéből álltak, összesen 80 ingerből. Minden egyes identitáshoz öt képet választottunk ki az internetről, amelyek több szempontból is változtak, mint például arckifejezés (legalább két mosolygó és két semleges arckifejezés), tekintet (egy balra elfordított, egy jobbra elfordított, két irányított tekintet és egy elforgatott fejjel összehangolt tekintet), póz (egy enyhén oldalra fordított fejjel), világítás, haj stb. Ezután az összes képet egy sablonhoz standardizáltuk az orrhegy, a száj középpontjának és mindkét szemnek a helyzete alapján történő elforgatásával, méretezésével és kivágásával, majd szürkeárnyalatos képként elmentettük őket.
A MEG-kísérlet során az alanyok az arcképek próbáit tekintették meg (1a. ábra). Minden próba egy arckép 0,2 másodperces bemutatásával kezdődött, amelyet egy 0,8-1 másodperces interstimulációs intervallum (ISI; egységesen 0,8 és 1 s között mintavételezve) követett, amely alatt egy szürke képernyő jelent meg. A kísérleti személyeket arra utasították, hogy gombnyomással válaszoljanak egy azonos kép egymást követő ismétlésére a kép bemutatása vagy az ITI alatt. A szemmozgásokból vagy pislogásból eredő artefaktumok elkerülése érdekében az alanyokat arra utasították, hogy a kép bemutatása (azaz az arc orrhegye és a szemek között bemutatott kép) és az ISI alatt a képernyő felső közepén lévő fekete fixációs keresztet fixálják. Arra kérték továbbá őket, hogy a gombnyomásos válaszadással egyidejűleg pislogjanak, mivel ezeket a próbákat nem vették figyelembe az adatelemzésben.
A kísérleti személyek 28 próbablokkot tekintettek meg, amelyekben a 80 kép mindegyike egyszer került bemutatásra véletlenszerűen 20 feladatpróbával (1-back feladat) váltakozva, így összesen 100 próbát kaptak blokkonként. A feladatkísérleteket pszeudo-randomizálták úgy, hogy a 80 kép mindegyike ezen felül hétszer került bemutatásra feladatkísérletként, összesen 35 bemutatásra. Az ingerek bemutatását és a válaszok gyűjtését a Psychtoolbox 3 for Matlab51,52 segítségével irányítottuk. A kísérlet körülbelül 70 percig tartott.
MEG-felvétel és előfeldolgozás
A MEG-adatokat egy 306 csatornás Elekta Triux rendszerrel gyűjtöttük 1000 Hz-es mintavételi frekvenciával, és online szűrtük őket 0,01 és 330 Hz között. A fej helyzetét a MEG-felvétel során a fej egyes tájékozódási pontjain elhelyezett öt fejpozíció-jelző tekercs alapján követtük. A nyers adatokat Maxfilter szoftverrel (Elekta, Stockholm) előfeldolgoztuk a fej mozgásának eltávolítására és az adatok tér-időbeli szűrőkkel történő denzifikálására. Ezután a Brainstorm (3.453-as verzió) segítségével kivontuk a próbákat -200 és 800 ms között a kép kezdetéhez képest. A Brainstormban minden kísérletet alapvonal-korrigáltunk az egyes MEG-érzékelők -200 ms és az ingerület kezdete közötti átlagos aktiváció eltávolításával, és főkomponens-elemzést használtunk a szemvillanási műtermékek eltávolítására, amelyeket automatikusan észleltünk a frontális érzékelő MEG-adatokból. A 6000 fT csúcs-csúcs közötti elutasítási küszöbértéket használtunk a rossz próbák elvetésére, a megmaradt próbákat importáltuk a Matlabba (2016a verzió; The Mathworks, Natick, MA), és egy 30 Hz-es aluláteresztő szűrővel simítottuk őket. Megjegyezzük, hogy a szűretlen adatokon is elvégeztük az elemzést, amely nagyon hasonló eredményeket hozott (lásd a 2. kiegészítő megjegyzést). A zaj további csökkentése és a számítási költségek csökkentése érdekében minden egyes alany esetében az egyes MEG-érzékelők adatait időben összekapcsoltuk, és főkomponens-elemzést alkalmaztunk a MEG-érzékelők adataira (megtartva minden olyan komponenst, amely az adatok varianciájának 99,99%-át magyarázta). Ez a lépés a 306 MEG-érzékelőből származó jellemzők halmazát alanyonként körülbelül 70 főkomponensre (PC) csökkentette, és minden további elemzést ezen a csökkentett halmazon végeztünk. Ezután minden kísérletet alapvonal-korrigáltunk azáltal, hogy minden PC-ből eltávolítottuk a -200 ms és az ingerület kezdete közötti átlagos aktivációt. Ezeket a PC-pontszámokat minden egyes kísérletre és minden egyes időpontra vonatkozóan felhasználtuk a későbbi elemzésekhez.
MEG többváltozós mintaelemzés
A többváltozós mintaelemzést arra használtuk, hogy a MEG-adatokból időbeli információt nyerjünk az arc ingerekről (2. ábra). Az egyes ingerpárok hasonlósági mértékének meghatározásához a lineáris támogató vektor gépek (SVM; libsvm54) keresztellenőrzött páronkénti osztályozási pontosságát használtuk. Az osztályozási elemzést minden egyes alanyra külön-külön, időben felbontott módon végeztük (azaz minden egyes időpontra függetlenül). Az elemzésben egy minta az adott időpontban egy kísérletre és egy feltételre vonatkozó PC-pontszámokból állt. Az első lépésben egy feltétel összes próbáját al-átlagoltuk úgy, hogy minden egyes próbát véletlenszerűen az öt felosztás egyikéhez rendeltünk, és minden egyes felosztásban átlagoltuk a próbákat (~ 5-7 próba per felosztás, ha figyelembe vesszük a rossz próbákat). Ezután a csoportokat képzési és tesztelési adatokra osztottuk, véletlenszerűen kiválasztva egy csoportot a teszteléshez, a többi csoportot pedig a képzéshez (azaz ötszörös keresztellenőrzés). Ezután elvégeztük a körülmények közötti mind a 3170 páronkénti összehasonlítás (azaz 80 × 79/2 kombináció) bináris osztályozását. Ezt az osztályozási eljárást 100-szor ismételtük meg. Az ismétlések átlagos dekódolási pontossága szolgált értékként a 80 × 80 dekódolási mátrixban, amelyet reprezentációs diszharmónia mátrixnak (RDM) neveztünk. Ez az RDM szimmetrikus, és az átlója meghatározatlan. A teljes eljárás minden egyes alanyra és időpontra egy MEG RDM-et eredményezett.
Az egyes arcingerek MEG-ben való megkülönböztethetőségének (azaz a képdekódolásnak) mérésére az egyes RDM-ek alsó háromszögében lévő összes páronkénti dekódolási pontosság átlagát vettük alapul. Ez alanyonként és időpontonként egy átlagos dekódolási pontossági értéket eredményezett. A képdekódolás időbeli lefolyása továbbá a MEG-adatokban az alacsony szintű képfeldolgozás időbeli lefolyásának viszonyítási alapjául szolgál. Annak vizsgálatára, hogy mennyire tartósak a neurális válaszok az arcképekre, tovább bővítettük az SVM dekódolási eljárást egy időbeli általánosítási megközelítéssel16,55,56. Ennek az elemzésnek a részletei és eredményei a 4. kiegészítő megjegyzésben találhatók.
Reprezentációs hasonlóságelemzés
Az arc dimenzióinak a MEG-adatokban való reprezentációjának elemzéséhez reprezentációs hasonlóságelemzést (RSA) használtunk. Minden egyes arcdimenzióhoz létrehoztuk a modell RDM-eket, amelyek 80 × 80 bináris mátrixok voltak, ahol az 1 megfelelt a kategóriák közötti inger-összehasonlításnak (pl. férfi vs. nő a nemi modell esetében) és a 0 a kategórián belüli inger-összehasonlításnak (pl. nő vs. nő). Ez az eljárás négy arcmodellt eredményezett, amelyek megfelelnek az ingerek ismertségi, nemi, életkori és identitási dimenzióinak. Az egyes modellek és a MEG-adatok közötti korrelációk kiszámításához az egyes mátrixok alsó off-diagonálisát vektorként kivontuk. Minden modell és alany esetében kiszámítottuk a modell és a MEG RDM közötti parciális rangkoefficienseket (Spearman korreláció) minden egyes időpontban az összes többi arcmodell kivonásával. Ez a lépés kulcsfontosságú volt, mivel néhány modell korrelált (pl. az identitás-összehasonlítások között a nemek közötti összehasonlítások között), és a többi modell részleges kizárása lehetővé tette számunkra, hogy a modellek hozzájárulásait szétválasszuk egymástól.
Az ingerek alacsony szintű jellemzőinek az eredményekhez való hozzájárulásának további kizárása érdekében ezen felül egy alacsony szintű jellemzőmodellt is részlegesen kizártunk. Ezt az alacsony szintű jellemzőmodellt úgy számoltuk ki, hogy a 80 inger mindegyikéhez kivontuk a jellemzőket egy mély, konvolúciós mesterséges neurális hálózat (CNN) második konvolúciós rétegéből, amelyet több ezer arcazonosságon (VGG-Face57) képeztünk ki. Az egyes ingerpárok CNN-egységei közötti eltérés mértékeként 1 – Pearson korrelációt használtunk, ami egy 80 × 80 RDM-et eredményezett, amely alacsony szintű képi jellemzőkön alapul. Megjegyezzük, hogy az alacsony szintű jellemzők más modelljeit is összehasonlítottuk (pl. HMAX C258,59, Gist60, pixelalapú hasonlóság), amelyek hasonló eredményeket hoztak; itt a VGG-Face modellt közöljük, mivel ez érte el a maximális korrelációt a MEG-adatokkal, és így a legtöbb adatot magyarázza (az alacsony szintű jellemzőkkel elszámolhatóan).
Az ismertség hatását az arcfeldolgozásra úgy vizsgáltuk, hogy a MEG és a modell RDM-eket ismerősön belüli, illetve ismeretlen RDM-ekre osztottuk. Mindegyik RDM egy 40 × 40 RDM volt, amely csak ismerős vagy csak ismeretlen arcképekből állt. Ezután ugyanazt az elemzést végeztük el, mint a teljes ingerhalmaz esetében (lásd fentebb). Az ismerős és ismeretlen arcok feldolgozása közötti különbségek további teszteléséhez az ismeretlen arcokra vonatkozó korrelációs időfolyamatokat kivontuk az ismerős arcokra kapott időfolyamatokból minden egyes alany esetében, és statisztikailag összehasonlítottuk ezeket a különbség időfolyamatokat nullával (lásd alább: Statisztikai következtetés). Megjegyezzük, hogy bár igyekeztünk a lehető legobjektívebben kiválasztani az ismerős és ismeretlen arcképek különböző készleteit, nem zárhatjuk ki teljesen, hogy az ingerek készletei közötti különbségek hozzájárultak ehhez az elemzéshez. Ezért elvégeztük a VGG-Face további elemzését, tesztelve az ingerek által vezérelt ismertségi hatásokat a VGG-Face egy korai és egy késői rétegében, ami arra utal, hogy az ilyen különbségek nem magyarázhatják meg egyenesen az eredményeinket (lásd az 1. kiegészítő megjegyzést).
Ezért fontos megjegyezni, hogy a kategorikus információs idősorok (pl., nem) a MEG RDM mátrix és a kategórián belüli (pl. nő vagy férfi) és a kategóriák közötti inger-összehasonlításoknak megfelelő nullákból és egyesekből álló modell RMD-kkel való korrelálásával konstruáltuk. A MEG RDM-ek és egy modell RDM közötti korreláció (az összes többi modell részleges kiszűrése mellett) a kategóriához tartozás szerinti klaszterezés mértékeként szolgált. A kategorikus információs idősorok kiszámításának alternatív megközelítése az, hogy közvetlenül egy osztályozót képezünk a kategóriák megkülönböztetésére (pl. női versus férfi az identitáson átnyúló) ingerek megkülönböztetésére. Bár egy ilyen módszertani megközelítés általában érzékeny lehet a kategorikus ingerinformáció különböző aspektusaira, a mi adatainkban konzisztens eredményeket hozott (lásd a 3. kiegészítő megjegyzést).
Viselkedéses hasonlósági kísérlet
A 16 alany közül tizennégyen a MEG-kísérletet követően egy külön napon, ugyanazon ingereken egy viselkedési többrendszerezési feladatot61 is elvégeztek. Az alanyok online végezték el a többszörös elrendezési kísérletet a saját számítógépük segítségével és a viselkedési kísérletek futtatására szolgáló online platformra bejelentkezve (). Az alanyoknak egy anonim, személyes kódot kellett megadniuk, amelyet e-mailben kaptak meg a kísérlet indításához. A kísérletben mind a 80 inger, amelyet az alany korábban a kísérletben látott, a képernyő közepén lévő fehér kör körül miniatűrként volt elrendezve. A kísérleti személyeket arra utasították, hogy ezeket a miniatűröket az érzékelt hasonlóságuk alapján rendezzék el (“hasonló képek együtt, különböző képek külön”, anélkül, hogy kifejezett utasításokat kaptak volna arra vonatkozóan, hogy melyik funkciót használják), a körbe húzással és ejtéssel. A kísérlet automatikusan befejeződött, amikor elérte a megfelelő jel/zaj arányt (azaz a bizonyítékok súlya 0,5-re volt beállítva). A kísérlet átlagos időtartama ~70 perc volt. A kísérlet befejezése után kiszámítottuk az elrendezett miniatűrök közötti páronkénti négyzetes képernyő-távolságokat, így reprezentálva a viselkedési RDM-et. Minden egyes alany esetében kivontuk a viselkedési RDM alsó off-diagonális adatait, és ezt a vektort korreláltuk a megfelelő MEG RDM-ekkel minden egyes időpontban. Ezenkívül kiszámítottuk ennek a korrelációnak a zajplafonját, hogy becslést kapjunk a korreláció felső és alsó határára, figyelembe véve az ebben az elemzésben szereplő korlátozott számú alanyok közötti változékonyságot. A zajplafont az itt leírt módszer szerint becsültük meg62. Röviden, a korreláció felső határát úgy becsültük meg, mint az egyes alanyok átlagos korrelációját a csoport átlagával. Mivel ez a korreláció magában foglalja az alannyal való korrelációt is, a modell valódi átlagos korrelációjának túlbecslését jelenti. Ezzel szemben az alsó korlátot úgy számítjuk ki, hogy az egyes alanyok átlagos korrelációját vesszük az összes többi alany átlagával (kivéve magát az alanyt). Ez a korlátozott adathalmaz miatt alulbecsüli a valódi modell átlagos korrelációját. A zajplafon együttesen becslést ad a maximálisan elérhető korrelációra, és hasznos referenciaként, különösen akkor, ha alacsony, de szignifikáns korrelációs értékeket találunk.
Továbbá, hogy felmérjük az egyes modellek egyedi hozzájárulását a MEG és a viselkedési RDM-ek közötti közös varianciához, emellett elvégeztük a commonality analízist, egy varianciafelosztási megközelítést, amely több mint két változó közötti közös varianciát becsli20,63. Röviden, két korrelációs együttható kiszámításával kiszámítottuk az egyes arcmodellek (pl. nem) által egyedileg hozzáadott varianciát: Először minden egyes alany esetében kiszámítottuk a MEG és a viselkedési RDM-ek közötti részleges korrelációt, miközben minden modellt (nem, életkor, identitás és alacsony szintű jellemzőmodell) részlegesen kiszűrtünk. Másodszor, kiszámítottuk a MEG RDM és a viselkedési RDM közötti részleges korrelációt, miközben az összes arcmodellt és az alacsony szintű jellemzőmodellt részlegesen kihagytuk, de egy arcmodellt (pl. a nemet) kihagytunk. E két részleges korrelációs együttható közötti különbség jelenti az adott modell által hozzáadott egyedi varianciát, amelyet közösségi együtthatónak nevezünk. Ezt a lépést minden MEG-időpontra megismételtük, ami az egyes arcmodellekhez egy-egy commonality coefficient time course-t eredményezett.
Statisztikai következtetés
Minden elemzéshez nem-parametrikus statisztikai teszteket használtunk, amelyek nem támaszkodnak az adatok eloszlására vonatkozó feltételezésekre64,65 . A dekódolási pontosság (képdekódolás) vagy a részleges korreláció (pl. modellkorreláció) idősorok statisztikai következtetéséhez permutáció-alapú klaszterméret következtetést végeztünk (azaz egy klaszter összefüggő időpontok halmazára utal). A nullhipotézis a dekódolási pontosságok esetében 50%-os véletlen szintnek, a korrelációs értékek vagy korrelációs különbségek esetében pedig 0-nak felelt meg. A szignifikáns időbeli klasztereket a következőképpen határoztuk meg. Először permutáltuk a MEG-adatok állapotcímkéit azáltal, hogy véletlenszerűen megszoroztuk az alanyi válaszokat + 1 vagy -1 értékkel (azaz előjeles permutációs teszt). Ezt az eljárást 1000-szer megismételtük, ami minden egyes időpontra egy permutációs eloszlást eredményezett. Másodszor, azok az időpontok, amelyek meghaladták a permutációs eloszlás 95. percentilisét, klaszterindukáló időpontokként szolgáltak (azaz p < 0,05; egyoldalú). Végül, az időbeli klasztereket úgy határoztuk meg, mint az összes permutációban egybefüggő, szignifikáns időpontok maximális számának 95. percentilisét (azaz egyenértékű p < 0,05; egyoldalú).
A kezdet és a csúcsidő latencia elemzése
A különböző arcdimenziók közötti kezdeti vagy csúcsidő latenciák közötti statisztikai különbségek tesztelésére bootstrap teszteket végeztünk. A tárgyspecifikus időfolyamatokat (pl. dekódolási pontosságként, parciális korrelációként vagy közösségi együtthatóként mérve) 1000-szer bootstrappeltük, hogy megkapjuk a kezdet (azaz az inger kezdetét követő legkisebb szignifikáns időpont) és a csúcslatenciák (azaz az inger kezdetét követő 80 és 180 ms közötti maximális korrelációs érték) empirikus eloszlását. A csúcselemzés időablakát az inger kezdetét követő 180 ms-ra korlátoztuk, mivel az inger kezdetét követően fellépő első csúcsra voltunk kíváncsiak, amelyet nem befolyásoltak a későbbi csúcsok (pl. az ingerület eltolódási válaszok66 miatt). Ezeknek az eloszlásoknak a 2,5. és a 97,5. percentilise határozta meg a 95%-os konfidenciaintervallumot a kezdeti és a csúcsidő latenciájára vonatkozóan. A latenciák közötti különbségek esetében 1000 bootstrap-mintát számítottunk a két latencia (pl. a kezdet) közötti különbségre, ami a latencia-különbségek empirikus eloszlását eredményezte. A nullánál kisebb vagy nagyobb különbségek száma osztva a permutációk számával meghatározta a p-értéket (azaz a kétoldalas tesztelés). Ezeket a p-értékeket a többszörös összehasonlításokra korrigáltuk a hamis felfedezési arány (FDR) segítségével 0,05 szinten.