Participants
Eenentwintig gezonde vrijwilligers met normaal of gecorrigeerd-naar-normaal gezichtsvermogen namen deel aan de studie. Vijf proefpersonen werden uitgesloten voor de data-analyse als gevolg van ten minste een van de volgende uitsluitingscriteria: overmatige beweging tijdens de opname, gedragsprestaties onder twee standaarddeviaties van het gemiddelde, of onvolledige opnames als gevolg van technische problemen. Gegevens van 16 proefpersonen (acht vrouwen; gemiddelde leeftijd 25,9, SD = 4,33) bleven over voor de MEG analyse. De gekozen steekproefgrootte was gebaseerd op eerdere studies met multivariate decodering van EEG/MEG-gegevens16,17,23. Veertien van deze 16 proefpersonen namen bovendien deel aan een online gedragsmatig vervolgexperiment. Alle proefpersonen gaven geïnformeerde, schriftelijke toestemming voorafgaand aan het experiment. Het Massachusetts Institute of Technology (MIT) Committee on the Use of Humans as Experimental Subjects keurde het experimentele protocol goed (COUHES nr. 1606622600) en de studie werd uitgevoerd in overeenstemming met alle relevante ethische regelgeving voor het werken met menselijke deelnemers.
Experimentele opzet en stimuli
Om de temporele dynamiek van gezichtsverwerking te onderzoeken, bekeken proefpersonen gezichtsbeelden van verschillende identiteiten terwijl ze controleerden op opeenvolgende herhalingen van identieke beelden (d.w.z., 1-back taak; Fig. 1a) in de MEG. We kozen acht bekende (d.w.z. beroemde acteurs in de VS) en acht onbekende (d.w.z. Duitse acteurs) beroemdheden als identiteiten, die orthogonaal varieerden in geslacht en leeftijd, zodanig dat de helft vrouwelijk en de helft mannelijk was en de helft jong (d.w.z., maximum leeftijd was 36 jaar) en de andere helft oud (d.w.z., minimum leeftijd was 59 jaar). Merk op dat we hier met geslacht verwijzen naar het geslacht van een gezicht.
Om er zeker van te zijn dat alle proefpersonen daadwerkelijk bekend waren met de set van bekende identiteiten, voltooiden proefpersonen voorafgaand aan het onderzoek een online screeningtaak. In deze screening, presenteerden we hen één afbeelding voor elk van de 16 identiteiten (verschillend van de afbeeldingen gebruikt in de MEG-studie) en vroegen hen of ze vertrouwd waren met de getoonde persoon. Alleen proefpersonen die elk van de acht bekende identiteiten herkenden (bijv. door het geven van hun namen of contexten waarin ze zich de persoon herinnerden) werden opgenomen in de studie.
Eindstimuli gebruikt in de MEG-studie bestonden uit vijf grijs-schaal afbeeldingen van elk van de 16 identiteiten voor een totaal van 80 stimuli. Voor elke identiteit selecteerden we vijf afbeeldingen van het internet die varieerden in verschillende aspecten zoals expressie (ten minste twee lachende en twee neutrale gezichtsuitdrukkingen), oogopslag (een afgewend naar links, een afgewend naar rechts, twee gerichte blik en een blik uitgelijnd met gedraaid hoofd), houding (een met het hoofd iets gedraaid naar de zijkant), verlichting, haar, enz. Vervolgens standaardiseerden we alle beelden naar een sjabloon door ze te roteren, te schalen en bij te snijden op basis van de positie van de neuspunt, het midden van de mond en beide ogen en sloegen ze op als grijswaardenafbeeldingen.
Tijdens het MEG-experiment bekeken proefpersonen proeven met gezichtsbeelden (Fig. 1a). Elke proef begon met de presentatie van een gezichtsbeeld gedurende 0,2 s, gevolgd door een 0,8-1 s interstimulus interval (ISI; uniform bemonsterd tussen 0,8 en 1 s) gedurende welke een grijs scherm werd gepresenteerd. Proefpersonen werden geïnstrueerd om te reageren met een druk op de knop op een opeenvolgende herhaling van een identiek beeld tijdens beeldpresentatie of tijdens ITI. Om artefacten als gevolg van oogbewegingen of knipperen te vermijden, werden proefpersonen geïnstrueerd om een zwart fixatiekruis in het bovenste midden van het scherm te fixeren tijdens beeldpresentatie (d.w.z. gepresenteerd tussen het puntje van de neus en de ogen van een gezicht) en ISI. Verder werd hen gevraagd om op hetzelfde moment te knipperen bij het geven van een knopreactie, aangezien deze trials niet werden meegenomen in de data-analyse.
De proefpersonen bekeken 28 blokken van trials waarin elk van de 80 afbeeldingen eenmaal willekeurig werd gepresenteerd, afgewisseld met 20 taak trials (1-back taak) voor een totaal van 100 trials per blok. Taak trials waren pseudo-randomized zodanig dat elk van de 80 afbeeldingen zeven keer werd getoond als taak trial voor een totaal van 35 presentaties. Stimulus presentatie werd gecontroleerd en antwoorden verzameld met behulp van Psychtoolbox 3 voor Matlab51,52. Het experiment duurde ongeveer 70 min.
MEG-opname en preprocessing
MEG-gegevens werden verzameld met behulp van een 306-kanaals Elekta Triux systeem met een 1000 Hz sampling rate, en werden online gefilterd tussen 0,01 en 330 Hz. De positie van het hoofd werd gevolgd tijdens MEG opnamen op basis van een set van vijf hoofd positie indicator spoelen geplaatst op bepaalde herkenningspunten op het hoofd. We hebben de ruwe gegevens voorbewerkt met Maxfilter software (Elekta, Stockholm) om de hoofdbeweging te verwijderen en de gegevens te denoise met spatiotemporele filters. Vervolgens gebruikten we Brainstorm (versie 3.453) om proeven te extraheren van -200 tot 800 ms ten opzichte van het begin van het beeld. In Brainstorm, werd elke proef gecorrigeerd door het verwijderen van de gemiddelde activering van elke MEG sensor tussen -200 ms en stimulus onset en principal component analyse werd gebruikt om oog knipperen artefacten die automatisch werden gedetecteerd uit frontale sensor MEG gegevens te verwijderen. We gebruikten een 6000 fT piek-tot-piek afwijzingsdrempel om slechte trials te verwijderen, importeerden de resterende trials in Matlab (versie 2016a; The Mathworks, Natick, MA) en egaliseerden ze met een 30 Hz laagdoorlaatfilter. Merk op dat we ook een analyse uitgevoerd op de ongefilterde gegevens die zeer vergelijkbare resultaten opleverde (zie aanvullende toelichting 2). Om de ruis verder te verminderen en de computerkosten te beperken, hebben we voor elke proefpersoon de gegevens van elke MEG-sensor in de tijd samengevoegd en een principale componentenanalyse op de MEG-sensorgegevens toegepast (waarbij we alle componenten die 99,99% van de variantie in de gegevens verklaarden, hebben behouden). Deze stap reduceerde de set van kenmerken van 306 MEG sensoren tot ongeveer 70 hoofdcomponenten (PCs) per onderwerp en we voerden alle verdere analyses uit op deze gereduceerde set. Vervolgens hebben we elke proef gecorrigeerd door de gemiddelde activatie tussen -200 ms en het begin van de stimulus uit elke PC te verwijderen. Deze PC scores voor elke proef en elk tijdstip werden gebruikt voor de volgende analyses.
MEG multivariate patroonanalyse
We gebruikten multivariate patroonanalyse om temporele informatie over de gezichtsstimuli uit de MEG gegevens te extraheren (Fig. 2). Om een similariteitsmaat voor elk paar stimuli te verkrijgen, gebruikten we kruisgevalideerde paarsgewijze classificatienauwkeurigheid van lineaire support vector machines (SVM; libsvm54). Classificatie analyse werd apart uitgevoerd voor elk onderwerp in een tijd-geresolveerde manier (dat wil zeggen, onafhankelijk voor elk tijdstip). Een patroon in de analyse bestond uit de PC-scores voor één proef en één conditie op een bepaald tijdstip. In de eerste stap hebben we het gemiddelde genomen van alle proeven van één conditie door elke proef willekeurig toe te wijzen aan één van vijf splitsen en het gemiddelde te nemen van de proeven in elke split (~5-7 proeven per split als we rekening houden met slechte proeven). Vervolgens verdeelden we de groepen in training- en testgegevens, waarbij we willekeurig één groep selecteerden voor testen en de resterende groepen voor training (d.w.z. vijfvoudige kruisvalidatie). Vervolgens voerden we een binaire classificatie uit van alle 3170 paarsgewijze vergelijkingen (d.w.z., 80 × 79/2 combinaties) tussen condities. Deze classificatie procedure werd 100 keer herhaald. De gemiddelde decodeernauwkeurigheid over de herhalingen diende als waarde in de 80 × 80 decodeermatrix, representational dissimilarity matrix (RDM) genoemd. Deze RDM is symmetrisch en de diagonaal is ongedefinieerd. De hele procedure resulteerde in een MEG RDM voor elk onderwerp en tijdstip.
Om een maat te krijgen van hoe goed elk gezicht stimulus kan worden onderscheiden van alle andere beelden in de MEG (dat wil zeggen, beeld decodering), hebben we het gemiddelde genomen van alle paarsgewijze decodering nauwkeurigheden in de onderste driehoek van elke RDM. Dit resulteerde in een gemiddelde decodering nauwkeurigheid waarde per onderwerp en tijdpunt. Het tijdsverloop van beelddecodering dient verder als benchmark van het tijdsverloop van low-level beeldverwerking in de MEG data. Om te onderzoeken hoe persistent neurale reacties waren op het gezicht beelden, hebben we verder uitgebreid de SVM decoderen procedure met een temporele generalisatie aanpak 16,55,56. Details en resultaten van deze analyse zijn te vinden in de aanvullende noot 4.
Representational similarity analysis
Om de representatie van het gezicht dimensies in de MEG-gegevens te analyseren, gebruikten we representational similarity analysis (RSA). We creëerden model RDM’s voor elke gezichtsdimensie die 80 × 80 binaire matrices waren waarbij 1 overeenkwam met een stimulusvergelijking tussen categorieën (bijv. man versus vrouw voor het geslachtsmodel) en 0 met een stimulusvergelijking binnen een categorie (bijv. vrouw versus vrouw). Deze procedure resulteerde in vier gezichtsmodellen die overeenkwamen met de vertrouwdheids-, geslachts-, leeftijds- en identiteitsdimensies van onze stimuli. Om de correlaties tussen elk model en de MEG data te berekenen, extraheerden we de onderste off-diagonalen van elk van deze matrices als vectoren. Voor elk model en elke proefpersoon berekenden we de gedeeltelijke rangcoëfficiënten (Spearman correlatie) tussen het model en de MEG RDM op elk tijdstip, waarbij alle andere gezichtsmodellen werden uitgefilterd. Deze stap was van cruciaal belang omdat sommige modellen gecorreleerd zijn (b.v. tussen identiteitsvergelijkingen samengesteld tussen geslachtsvergelijkingen) en het uitvlakken van de andere modellen stelde ons dus in staat de bijdragen van de modellen van elkaar te ontwarren.
Om de bijdrage van lage-niveau kenmerken van onze stimuli aan de resultaten verder uit te sluiten, hebben we aanvullend een lage-niveau kenmerk model uitgefilterd. Dit low-level feature model werd berekend door het extraheren van features voor elk van de 80 stimuli uit de tweede convolutionele laag van een diep, convolutioneel kunstmatig neuraal netwerk (CNN) getraind op duizenden gezichtsidentiteiten (VGG-Face57). We gebruikten 1 – Pearson correlatie als maat voor de ongelijksoortigheid tussen de CNN eenheden van elk paar stimuli, resulterend in een 80 × 80 RDM gebaseerd op low-level beeldkenmerken. Merk op dat we ook andere modellen van low-level features vergeleken hebben (b.v. HMAX C258,59, Gist60, pixel-gebaseerde gelijkenis), die vergelijkbare resultaten opleverden; we rapporteren hier het VGG-Face model omdat het de maximale correlatie met de MEG data bereikte en dus de meeste data verklaart (zoals te verantwoorden door low-level features).
We onderzochten het effect van vertrouwdheid op gezichtsverwerking door de MEG en model RDMs te verdelen in within familiar en within unfamiliar RDMs, respectievelijk. Elk van deze RDM’s was een 40 × 40 RDM bestaande uit alleen bekende of alleen onbekende gezichtsbeelden. Vervolgens voerden we dezelfde analyse uit als voor de volledige set stimuli (zie boven). Om de verschillen tussen de verwerking van bekende en onbekende gezichten verder te testen, trokken we de tijdsverlopen van de correlatie voor onbekende gezichten af van de tijdsverlopen verkregen voor bekende gezichten voor elke proefpersoon en vergeleken deze verschiltijdsverlopen statistisch met nul (zie Statistische gevolgtrekking hieronder). Merk op dat, hoewel we geprobeerd hebben de verschillende sets van bekende en onbekende gezichtsbeelden zo objectief mogelijk te selecteren, we niet volledig kunnen uitsluiten dat verschillen tussen de sets van stimuli hebben bijgedragen aan deze analyse. We hebben daarom een aanvullende analyse van VGG-Face uitgevoerd, waarbij we hebben getest op stimulus-gedreven vertrouwdheidseffecten in een vroege en een late laag van VGG-Face, wat suggereert dat dergelijke verschillen onze bevindingen niet zonder meer kunnen verklaren (zie aanvullende noot 1).
Verder is het belangrijk op te merken dat categorische informatie tijdreeksen (bijv, geslacht) werden geconstrueerd door correlatie van de MEG RDM matrix met model RMDs bestaande uit nullen die overeenkomen met binnen-categorie (bijv., vrouw of man) en enen die overeenkomen met tussen-categorie stimulus vergelijkingen. De correlatie tussen de MEG RDMs en een model RDM (terwijl partialling uit alle andere modellen) diende als een maat voor de clustering door categorie lidmaatschap. Een alternatieve benadering voor het berekenen van categorische informatie tijdreeksen is het direct trainen van een classificator voor het discrimineren van categorieën (bijv. vrouw versus man over identiteit) stimuli. Hoewel een dergelijke methodologische aanpak kan gevoelig zijn voor verschillende aspecten van categorische stimulus informatie in het algemeen, het leverde consistente resultaten in onze gegevens (zie aanvullende noot 3).
Gedragsgelijkenis experiment
Veertien van de 16 proefpersonen voerden bovendien een gedragsmatige multi-arrangement taak61 op dezelfde stimuli op een aparte dag na de MEG-experiment. Proefpersonen voerden het multi-arrangement experiment online uit met behulp van hun eigen computer en door in te loggen op een online platform om gedragsexperimenten uit te voeren (). Proefpersonen moesten een anonieme, persoonlijke code invoeren die hen via e-mail werd verstrekt om het experiment te starten. In het experiment werden alle 80 stimuli die de proefpersoon eerder in het experiment had gezien, gerangschikt als thumbnails rond een witte cirkel in het midden van het scherm. De proefpersonen werden geïnstrueerd om deze miniaturen te rangschikken op basis van hun waargenomen gelijkenis (“gelijkaardige beelden samen, ongelijkaardige beelden apart”, zonder expliciete instructies over welke eigenschap te gebruiken) door ze in de cirkel te slepen en neer te zetten. Het experiment werd automatisch beëindigd wanneer een voldoende signaal-ruisverhouding werd bereikt (d.w.z. het bewijsgewicht werd op 0,5 gezet). De gemiddelde duur van het experiment was ~70 min. Na afloop van het experiment werden de paarsgewijze gekwadrateerde afstanden op het scherm tussen de gerangschikte miniaturen berekend, die dus een gedragsmatige RDM vertegenwoordigen. Voor elk onderwerp, we geëxtraheerd de onderste off-diagonale gegevens van de gedragsmatige RDM en gecorreleerd deze vector met de overeenkomstige MEG RDMs voor elk tijdstip. We berekenden bovendien het ruisplafond voor deze correlatie om een schatting te krijgen voor de boven- en ondergrens van de correlatie, gezien de variabiliteit in de beperkte set van proefpersonen in deze analyse. Wij hebben het ruisplafond geschat volgens een hier beschreven methode62. Kort gezegd schatten wij de bovengrens van de correlatie als de gemiddelde correlatie van elke proefpersoon met het groepsgemiddelde. Aangezien deze correlatie de correlatie met de proefpersoon zelf omvat, vertegenwoordigt zij een overschatting van de gemiddelde correlatie van het ware model. De ondergrens wordt daarentegen berekend door de gemiddelde correlatie van elke proefpersoon met het gemiddelde van alle andere proefpersonen (met uitzondering van de proefpersoon zelf) te nemen. Dit is een onderschatting van de gemiddelde correlatie van het ware model vanwege de beperkte reeks gegevens. Samen geeft de ondergrens een schatting van de maximaal haalbare correlatie en is nuttig als referentie, met name wanneer lage maar significante correlatiewaarden worden gevonden.
Verder, om de unieke bijdrage van elk model aan de gedeelde variantie tussen MEG en gedragsmatige RDM’s te beoordelen, voerden we aanvullend commonality analyse uit, een variantie partitionering benadering die de gedeelde variantie tussen meer dan twee variabelen schat20,63. In het kort berekenden we de variantie die uniek bijdroeg van elk gezichtsmodel (b.v. geslacht) door twee correlatiecoëfficiënten te berekenen: Ten eerste berekenden we voor elke proefpersoon de partiële correlatie tussen MEG en gedrags-RDM’s, terwijl we alle modellen (geslacht, leeftijd, identiteit en model met laag niveaukenmerken) uitsloten. Ten tweede berekenden we de partiële correlatie tussen de MEG RDM en de gedragsmatige RDM, terwijl we alle gezichtsmodellen en het low-level feature model uitsloten, maar één gezichtsmodel weglieten (b.v. geslacht). Het verschil tussen deze twee gedeeltelijke correlatie coëfficiënten vertegenwoordigt de unieke variantie bijgedragen door dat model, aangeduid als commonality coëfficiënt. Deze stap werd herhaald voor elk MEG tijdpunt wat resulteerde in een commonality coëfficiënt tijdsverloop voor elk gezicht model.
Statistische gevolgtrekking
Voor alle analyses gebruikten we niet-parametrische statistische tests die niet afhankelijk zijn van aannames over de verdelingen van de gegevens64,65. Voor statistische inferentie van decodering nauwkeurigheid (beeld decodering) of gedeeltelijke correlatie (bijv. model correlatie) tijdreeksen, voerden we permutatie-gebaseerde cluster-grootte inferentie (dat wil zeggen, een cluster verwijst naar een set van aaneengesloten tijdstippen). De nulhypothese kwam overeen met 50% kansniveau voor decodeernauwkeurigheden, en 0 voor correlatiewaarden of correlatieverschillen. Significante temporele clusters werden als volgt gedefinieerd. Ten eerste, we permuteerden de conditie labels van de MEG-gegevens door willekeurig te vermenigvuldigen onderwerp reacties met + 1 of -1 (dat wil zeggen, teken permutatietest). We herhaalden deze procedure 1000 keer wat resulteerde in een permutatie verdeling voor elk tijdstip. Ten tweede, tijdstippen die de 95e percentiel van de permutatie verdeling overschreden diende als cluster-inducerende tijdstippen (dat wil zeggen, gelijk aan p < 0,05; eenzijdig). Ten slotte werden clusters in de tijd gedefinieerd als het 95e percentiel van het maximum aantal aaneengesloten, significante tijdspunten over alle permutaties (d.w.z., equivalent aan p < 0,05; eenzijdig).
Onset en piek latentie analyse
Om te testen op statistische verschillen in onset of piek latenties tussen verschillende gezicht dimensies, voerden we bootstrap tests uit. We bootstrapten de subject-specifieke tijdsverlopen (bv. gemeten als decoderingsnauwkeurigheid, gedeeltelijke correlatie of commonaliteitscoëfficiënt) 1000 keer om een empirische verdeling van de onset (d.w.z., minimum significant tijdstip na stimulus onset) en piek latenties (d.w.z., maximale correlatie waarde tussen 80 en 180 ms na stimulus onset) te verkrijgen. We beperkten het tijdvenster voor de piek analyse tot 180 ms na stimulus onset, omdat we geïnteresseerd waren in de eerste piek die zich na stimulus onset, unconfounded van latere pieken (bijvoorbeeld als gevolg van stimulus offset reacties66). De 2.5e en de 97.5e percentiel van deze distributies gedefinieerd de 95%-betrouwbaarheidsinterval voor onset en piek latency, respectievelijk. Voor verschillen tussen latenties, berekenden we 1000 bootstrap steekproeven van het verschil tussen twee latenties (bijv. onset) resulterend in een empirische verdeling van latentieverschillen. Het aantal verschillen dat kleiner of groter was dan nul gedeeld door het aantal permutaties definieerde de p-waarde (d.w.z., tweezijdig testen). Deze p-waarden werden gecorrigeerd voor meervoudige vergelijkingen met behulp van false discovery rate (FDR) op een niveau van 0,05.