Teilnehmer
Einundzwanzig gesunde Probanden mit normalem oder korrigiertem bis normalem Sehvermögen nahmen an der Studie teil. Fünf Probanden wurden vor der Datenanalyse aufgrund von mindestens einem der folgenden Ausschlusskriterien ausgeschlossen: übermäßige Bewegung während der Aufzeichnung, Verhaltensleistung unter zwei Standardabweichungen vom Mittelwert oder unvollständige Aufzeichnungen aufgrund technischer Probleme. Für die MEG-Analyse verblieben die Daten von 16 Probanden (acht Frauen; Durchschnittsalter 25,9 Jahre, SD = 4,33). Die gewählte Stichprobengröße basierte auf früheren Studien zur multivariaten Dekodierung von EEG/MEG-Daten16,17,23. Vierzehn dieser 16 Probanden nahmen zusätzlich an einem Online-Verhaltensfolgeexperiment teil. Alle Probanden gaben vor dem Experiment ihre schriftliche Einwilligung. Das Massachusetts Institute of Technology (MIT) Committee on the Use of Humans as Experimental Subjects genehmigte das Versuchsprotokoll (COUHES Nr. 1606622600), und die Studie wurde in Übereinstimmung mit allen relevanten ethischen Vorschriften für die Arbeit mit menschlichen Teilnehmern durchgeführt.
Versuchsaufbau und Stimuli
Um die zeitliche Dynamik der Gesichtsverarbeitung zu untersuchen, betrachteten die Probanden Gesichtsbilder verschiedener Identitäten, während sie auf aufeinanderfolgende Wiederholungen identischer Bilder achteten (d. h., 1-back task; Abb. 1a) im MEG. Wir wählten acht bekannte (d. h. berühmte Schauspieler in den USA) und acht unbekannte (d. h. deutsche Schauspieler) Prominente als Identitäten aus, die sich orthogonal in Geschlecht und Alter unterschieden, so dass die Hälfte weiblich und die Hälfte männlich war und die Hälfte von ihnen jung (d. h. das Höchstalter war 36 Jahre) und die Hälfte alt (d. h. das Mindestalter war 59 Jahre) war. Beachten Sie, dass wir uns hier mit Geschlecht auf das Geschlecht eines Gesichts beziehen.
Um sicherzustellen, dass alle Probanden tatsächlich mit der Gruppe der vertrauten Identitäten vertraut waren, absolvierten die Probanden vor der Studie eine Online-Screening-Aufgabe. Bei diesem Screening wurde ihnen ein Bild für jede der 16 Identitäten (die sich von den in der MEG-Studie verwendeten Bildern unterscheiden) präsentiert und sie wurden gefragt, ob sie die abgebildete Person kennen. Es wurden nur Personen in die Studie aufgenommen, die jede der acht bekannten Identitäten wiedererkannten (z. B. durch Nennung der Namen oder der Kontexte, in denen sie sich an die Person erinnerten).
Die endgültigen Stimuli für die MEG-Studie bestanden aus fünf Graustufenbildern von jeder der 16 Identitäten, insgesamt 80 Stimuli. Für jede Identität wählten wir fünf Bilder aus dem Internet aus, die sich in verschiedenen Aspekten unterschieden, wie z. B. Ausdruck (mindestens zwei lächelnde und zwei neutrale Gesichtsausdrücke), Blick (ein nach links abgewandter, ein nach rechts abgewandter, zwei gerichtete Blicke und ein Blick, der mit gedrehtem Kopf ausgerichtet war), Pose (eines mit leicht zur Seite gedrehtem Kopf), Beleuchtung, Haare usw. Anschließend wurden alle Bilder durch Drehen, Skalieren und Beschneiden anhand der Position der Nasenspitze, der Mundmitte und beider Augen an eine Vorlage angepasst und als Graustufenbilder gespeichert.
Während des MEG-Experiments sahen sich die Probanden Versuche mit Gesichtsbildern an (Abb. 1a). Jeder Versuch begann mit der Präsentation eines Gesichtsbildes für 0,2 s, gefolgt von einem Interstimulusintervall (ISI) von 0,8-1 s (gleichmäßig abgetastet zwischen 0,8 und 1 s), während dessen ein grauer Bildschirm präsentiert wurde. Die Versuchspersonen wurden angewiesen, per Tastendruck auf eine aufeinanderfolgende Wiederholung eines identischen Bildes während der Bildpräsentation oder während des ITI zu reagieren. Um Artefakte durch Augenbewegungen oder Blinzeln zu vermeiden, wurden die Probanden angewiesen, während der Bildpräsentation (d.h. zwischen der Nasenspitze und den Augen eines Gesichts) und während des ISI ein schwarzes Fixationskreuz in der oberen Mitte des Bildschirms zu fixieren. Die Probanden wurden außerdem gebeten, gleichzeitig zu blinzeln, wenn sie eine Tastenantwort gaben, da diese Versuche nicht in die Datenanalyse einbezogen wurden.
Die Probanden sahen sich 28 Versuchsblöcke an, in denen jedes der 80 Bilder einmal zufällig mit 20 Aufgabenversuchen (1-back task) für insgesamt 100 Versuche pro Block präsentiert wurde. Die Aufgabenversuche wurden pseudo-randomisiert, so dass jedes der 80 Bilder zusätzlich siebenmal als Aufgabenversuch gezeigt wurde, was insgesamt 35 Präsentationen ergab. Die Stimuluspräsentation wurde mit Psychtoolbox 3 für Matlab51,52 gesteuert und die Antworten wurden erfasst. Das Experiment dauerte etwa 70 Minuten.
MEG-Aufzeichnung und Vorverarbeitung
MEG-Daten wurden mit einem 306-Kanal Elekta Triux-System mit einer Abtastrate von 1000 Hz erfasst und online zwischen 0,01 und 330 Hz gefiltert. Die Position des Kopfes wurde während der MEG-Aufzeichnung anhand von fünf Kopfpositions-Indikatorspulen verfolgt, die auf bestimmten Landmarken am Kopf platziert waren. Die Rohdaten wurden mit der Software Maxfilter (Elekta, Stockholm) vorverarbeitet, um Kopfbewegungen zu entfernen und die Daten mit räumlich-zeitlichen Filtern zu entrauschen. Anschließend verwendeten wir Brainstorm (Version 3.453), um Trials zwischen -200 und 800 ms in Bezug auf den Bildeintritt zu extrahieren. In Brainstorm wurde jeder Versuch baselinekorrigiert, indem die mittlere Aktivierung jedes MEG-Sensors zwischen -200 ms und dem Stimulusbeginn entfernt wurde, und die Hauptkomponentenanalyse wurde verwendet, um Artefakte des Augenblinzelns zu entfernen, die automatisch aus den MEG-Daten der Frontalsensoren erkannt wurden. Wir verwendeten eine 6000 fT Peak-to-Peak-Abweisungsschwelle, um schlechte Trials zu verwerfen, importierten die verbleibenden Trials in Matlab (Version 2016a; The Mathworks, Natick, MA) und glätteten sie mit einem 30 Hz Tiefpassfilter. Beachten Sie, dass wir auch eine Analyse der ungefilterten Daten durchgeführt haben, die sehr ähnliche Ergebnisse lieferte (siehe Anhang 2). Um das Rauschen weiter zu reduzieren und die Rechenkosten zu senken, haben wir für jeden Probanden die Daten jedes MEG-Sensors über die Zeit verkettet und eine Hauptkomponentenanalyse auf die MEG-Sensordaten angewandt (wobei alle Komponenten, die 99,99 % der Varianz in den Daten erklärten, erhalten blieben). Dieser Schritt reduzierte den Satz von Merkmalen von 306 MEG-Sensoren auf etwa 70 Hauptkomponenten (PC) pro Proband und wir führten alle weiteren Analysen mit diesem reduzierten Satz durch. Anschließend wurde jeder Trial einer Baseline-Korrektur unterzogen, indem die mittlere Aktivierung zwischen -200 ms und dem Beginn des Stimulus aus jedem PC entfernt wurde. Diese PC-Scores für jeden Versuch und jeden Zeitpunkt wurden für die nachfolgenden Analysen verwendet.
MEG multivariate Musteranalyse
Wir verwendeten die multivariate Musteranalyse, um zeitliche Informationen über die Gesichtsreize aus den MEG-Daten zu extrahieren (Abb. 2). Um ein Ähnlichkeitsmaß für jedes Paar von Stimuli zu erhalten, verwendeten wir die kreuzvalidierte paarweise Klassifikationsgenauigkeit von linearen Support-Vektor-Maschinen (SVM; libsvm54). Die Klassifizierungsanalyse wurde für jeden Probanden separat und zeitaufgelöst durchgeführt (d. h. unabhängig für jeden Zeitpunkt). Ein Muster in der Analyse bestand aus den PC-Scores für einen Versuch und eine Bedingung zu einem bestimmten Zeitpunkt. In einem ersten Schritt haben wir alle Trials einer Bedingung gemittelt, indem wir jeden Trial zufällig einem von fünf Splits zugewiesen haben und den Durchschnitt der Trials in jedem Split gebildet haben (~5-7 Trials pro Split, wenn man die schlechten Trials berücksichtigt). Anschließend teilten wir die Gruppen in Trainings- und Testdaten auf und wählten nach dem Zufallsprinzip eine Gruppe zum Testen und die übrigen Gruppen zum Trainieren aus (d. h. fünffache Kreuzvalidierung). Anschließend führten wir eine binäre Klassifizierung aller 3170 paarweisen Vergleiche (d. h. 80 × 79/2 Kombinationen) zwischen den Bedingungen durch. Dieses Klassifizierungsverfahren wurde 100 Mal wiederholt. Die durchschnittlichen Dekodiergenauigkeiten über die Wiederholungen dienten als Wert in der 80 × 80 Dekodiermatrix, die als repräsentative Unähnlichkeitsmatrix (RDM) bezeichnet wird. Diese RDM ist symmetrisch und die Diagonale ist undefiniert. Das gesamte Verfahren ergab eine MEG-RDM für jede Versuchsperson und jeden Zeitpunkt.
Um ein Maß dafür zu erhalten, wie gut jeder Gesichtsreiz von allen anderen Bildern im MEG unterschieden werden kann (d. h. Bilddekodierung), haben wir alle paarweisen Dekodierungsgenauigkeiten im unteren Dreieck jeder RDM gemittelt. Daraus ergab sich ein Durchschnittswert für die Dekodiergenauigkeit pro Person und Zeitpunkt. Der Zeitverlauf der Bilddekodierung dient außerdem als Benchmark für den Zeitverlauf der Low-Level-Bildverarbeitung in den MEG-Daten. Um zu untersuchen, wie persistent die neuronalen Reaktionen auf Gesichtsbilder sind, haben wir das SVM-Dekodierungsverfahren mit einem zeitlichen Generalisierungsansatz erweitert16,55,56. Einzelheiten und Ergebnisse dieser Analyse sind in der ergänzenden Anmerkung 4 zu finden.
Repräsentationsähnlichkeitsanalyse
Um die Repräsentation von Gesichtsdimensionen in den MEG-Daten zu analysieren, verwendeten wir die Repräsentationsähnlichkeitsanalyse (RSA). Wir erstellten Modell-RDMs für jede Gesichtsdimension, bei denen es sich um binäre 80 × 80-Matrizen handelte, wobei 1 einem Vergleich von Reizen zwischen Kategorien (z. B. männlich vs. weiblich für das Geschlechtsmodell) und 0 einem Vergleich von Reizen innerhalb von Kategorien (z. B. weiblich vs. weiblich) entsprach. Dieses Verfahren führte zu vier Gesichtsmodellen, die den Dimensionen Vertrautheit, Geschlecht, Alter und Identität unserer Stimuli entsprachen. Um die Korrelationen zwischen jedem Modell und den MEG-Daten zu berechnen, extrahierten wir die untere Off-Diagonale jeder dieser Matrizen als Vektoren. Für jedes Modell und jeden Probanden berechneten wir die partiellen Rangkoeffizienten (Spearman-Korrelation) zwischen dem Modell und der MEG-RDM zu jedem Zeitpunkt, wobei alle anderen Gesichtsmodelle ausgeklammert wurden. Dieser Schritt war von entscheidender Bedeutung, da einige der Modelle korreliert sind (z. B. zwischen Identitätsvergleichen, die zwischen Geschlechtervergleichen enthalten sind) und das Herausrechnen der anderen Modelle es uns ermöglichte, die Beiträge der Modelle voneinander zu trennen.
Um den Beitrag von Low-Level-Merkmalen unserer Stimuli zu den Ergebnissen weiter auszuschließen, haben wir zusätzlich ein Low-Level-Merkmal-Modell herausgerechnet. Dieses Low-Level-Merkmalsmodell wurde durch Extraktion von Merkmalen für jeden der 80 Stimuli aus der zweiten Faltungsschicht eines tiefen, gefalteten künstlichen neuronalen Netzes (CNN) berechnet, das auf Tausenden von Gesichtsidentitäten (VGG-Face57) trainiert wurde. Wir verwendeten die 1-Pearson-Korrelation als Maß für die Unähnlichkeit zwischen den CNN-Einheiten jedes Stimuluspaares, was zu einem 80 × 80 RDM auf der Grundlage von Low-Level-Bildmerkmalen führte. Es sei darauf hingewiesen, dass wir auch andere Modelle von Low-Level-Merkmalen (z. B. HMAX C258,59, Gist60, pixelbasierte Ähnlichkeit) verglichen haben, die ähnliche Ergebnisse erbrachten; wir berichten hier über das VGG-Gesichtsmodell, weil es die maximale Korrelation mit den MEG-Daten erreichte und daher die meisten Daten erklärt (erklärbar durch Low-Level-Merkmale).
Wir untersuchten die Auswirkung von Vertrautheit auf die Verarbeitung von Gesichtern, indem wir die MEG- und Modell-RDMs in vertraute bzw. unbekannte RDMs unterteilten. Jedes dieser RDMs war ein 40 × 40 RDM, das nur aus bekannten oder nur aus unbekannten Gesichtsbildern bestand. Anschließend führten wir dieselbe Analyse wie für den vollständigen Satz von Stimuli durch (siehe oben). Um weitere Unterschiede zwischen der Verarbeitung von bekannten und unbekannten Gesichtern zu testen, subtrahierten wir die Zeitverläufe der Korrelation für unbekannte Gesichter von den Zeitverläufen, die wir für bekannte Gesichter für jeden Probanden erhalten hatten, und verglichen diese Differenzzeitverläufe statistisch mit Null (siehe Statistische Schlussfolgerungen unten). Es ist zu beachten, dass wir zwar versucht haben, die verschiedenen Sätze von bekannten und unbekannten Gesichtsbildern so objektiv wie möglich auszuwählen, wir aber nicht völlig ausschließen können, dass Unterschiede zwischen den Reizsätzen zu dieser Analyse beigetragen haben. Wir haben daher eine zusätzliche Analyse von VGG-Face durchgeführt, in der wir auf Stimulus-bedingte Vertrautheitseffekte in einer frühen und einer späten Schicht von VGG-Face getestet haben, was darauf hindeutet, dass solche Unterschiede unsere Ergebnisse nicht direkt erklären können (siehe ergänzende Anmerkung 1).
Zudem ist es wichtig zu beachten, dass kategoriale Informationszeitreihen (z. B., Geschlecht) konstruiert wurden, indem die MEG-RDM-Matrix mit Modell-RMDs korreliert wurde, die aus Nullen für kategorieninterne (z. B. weiblich oder männlich) und Einsen für kategorienübergreifende Stimulusvergleiche bestehen. Die Korrelation zwischen den MEG-RDMs und einem Modell-RDM (bei gleichzeitigem Ausschluss aller anderen Modelle) diente als Maß für die Clusterbildung nach Kategoriezugehörigkeit. Ein alternativer Ansatz zur Berechnung kategorialer Informationszeitreihen ist das direkte Training eines Klassifikators zur Unterscheidung von Kategorien (z. B. weiblich versus männlich über die Identität) von Reizen. Obwohl ein solcher methodischer Ansatz im Allgemeinen empfindlich auf verschiedene Aspekte kategorialer Stimulusinformationen reagieren kann, führte er in unseren Daten zu konsistenten Ergebnissen (siehe Zusatzbemerkung 3).
Verhaltensähnlichkeitsexperiment
Vierzehn der 16 Probanden führten an einem separaten Tag nach dem MEG-Experiment zusätzlich eine verhaltensbezogene Multi-Arrangement-Aufgabe61 mit denselben Stimuli durch. Die Versuchspersonen führten das Multi-Arrangement-Experiment online mit ihrem eigenen Computer durch, indem sie sich bei einer Online-Plattform für Verhaltensexperimente anmeldeten (). Die Probanden mussten einen anonymen, persönlichen Code eingeben, der ihnen per E-Mail mitgeteilt wurde, um das Experiment zu starten. Bei dem Experiment wurden alle 80 Stimuli, die die Versuchsperson zuvor im Experiment gesehen hatte, als Miniaturbilder um einen weißen Kreis in der Mitte des Bildschirms angeordnet. Die Versuchspersonen wurden angewiesen, diese Thumbnails auf der Grundlage ihrer wahrgenommenen Ähnlichkeit anzuordnen (ähnliche Bilder zusammen, unähnliche Bilder auseinander“, ohne ausdrückliche Anweisungen, welches Merkmal zu verwenden war), indem sie sie in den Kreis zogen und fallen ließen. Das Experiment wurde automatisch beendet, wenn ein ausreichendes Signal-Rausch-Verhältnis erreicht war (d. h., das Evidenzgewicht wurde auf 0,5 gesetzt). Die durchschnittliche Dauer des Experiments betrug ~70 Minuten. Nach Beendigung des Experiments wurden die paarweisen quadrierten Bildschirmabstände zwischen den arrangierten Miniaturbildern berechnet, was eine verhaltensbezogene RDM darstellt. Für jeden Probanden extrahierten wir die unteren Off-Diagonal-Daten aus dem Verhaltens-RDM und korrelierten diesen Vektor mit den entsprechenden MEG-RDMs für jeden Zeitpunkt. Zusätzlich berechneten wir die Rauschgrenze für diese Korrelation, um eine Schätzung für die obere und untere Grenze der Korrelation angesichts der Variabilität in der eingeschränkten Probandengruppe in dieser Analyse zu erhalten. Wir schätzten die Rauschgrenze nach einer hier beschriebenen Methode62. Kurz gesagt, wir schätzten die obere Grenze der Korrelation als die mittlere Korrelation jedes Probanden mit dem Gruppenmittelwert. Da diese Korrelation die Korrelation mit dem Probanden selbst beinhaltet, stellt sie eine Überschätzung der durchschnittlichen Korrelation des wahren Modells dar. Im Gegensatz dazu wird die untere Schranke berechnet, indem man die mittlere Korrelation jedes Probanden mit dem Mittelwert aller anderen Probanden (ohne den Probanden selbst) nimmt. Dadurch wird die durchschnittliche Korrelation des wahren Modells aufgrund der eingeschränkten Datenmenge unterschätzt. Zusammengenommen liefert die Rauschgrenze eine Schätzung der maximal erreichbaren Korrelation und ist als Referenz nützlich, insbesondere wenn niedrige, aber signifikante Korrelationswerte gefunden werden.
Um den einzigartigen Beitrag jedes Modells zur gemeinsamen Varianz zwischen MEG- und Verhaltens-RDMs zu bewerten, führten wir zusätzlich eine Gemeinsamkeitsanalyse durch, einen Varianzaufteilungsansatz, der die gemeinsame Varianz zwischen mehr als zwei Variablen schätzt20,63. Kurz gesagt, wir berechneten die Varianz, die von jedem Gesichtsmodell (z. B. Geschlecht) eindeutig beigetragen wurde, indem wir zwei Korrelationskoeffizienten berechneten: Erstens berechneten wir für jede Versuchsperson die partielle Korrelation zwischen MEG- und Verhaltens-RDMs, wobei alle Modelle (Geschlecht, Alter, Identität und Low-Level-Merkmalsmodell) herausgerechnet wurden. Zweitens berechneten wir die partielle Korrelation zwischen der MEG-RDM und der Verhaltens-RDM, wobei wir alle Gesichtsmodelle und das Low-Level-Merkmalsmodell herausrechneten, aber ein Gesichtsmodell ausließen (z. B. das Geschlecht). Die Differenz zwischen diesen beiden partiellen Korrelationskoeffizienten stellt die einzigartige Varianz dar, die von diesem Modell beigetragen wird, was als Commonality-Koeffizient bezeichnet wird. Dieser Schritt wurde für jeden MEG-Zeitpunkt wiederholt, so dass sich für jedes Gesichtsmodell ein Zeitverlauf des Kommonalitätskoeffizienten ergab.
Statistische Schlussfolgerungen
Für alle Analysen wurden nichtparametrische statistische Tests verwendet, die nicht auf Annahmen über die Verteilungen der Daten beruhen64,65. Für statistische Rückschlüsse auf die Dekodiergenauigkeit (Bilddekodierung) oder partielle Korrelationen (z. B. Modellkorrelation) wurden permutationsbasierte Rückschlüsse auf die Clustergröße gezogen (d. h. ein Cluster bezieht sich auf eine Gruppe zusammenhängender Zeitpunkte). Die Nullhypothese entsprach einem Zufallswert von 50 % für die Dekodiergenauigkeit und 0 für Korrelationswerte oder Korrelationsunterschiede. Signifikante zeitliche Cluster wurden wie folgt definiert. Zunächst permutierten wir die Zustandsbezeichnungen der MEG-Daten, indem wir die Antworten der Probanden zufällig mit + 1 oder -1 multiplizierten (d. h. Permutationstest mit Vorzeichen). Diese Prozedur wurde 1000 Mal wiederholt, was zu einer Permutationsverteilung für jeden Zeitpunkt führte. Zweitens dienten Zeitpunkte, die das 95. Perzentil der Permutationsverteilung überstiegen, als clusterinduzierende Zeitpunkte (d. h., sie entsprachen p < 0,05; einseitig). Schließlich wurden zeitliche Cluster als das 95. Perzentil der maximalen Anzahl zusammenhängender, signifikanter Zeitpunkte über alle Permutationen hinweg definiert (d. h. äquivalent zu p < 0,05; einseitig).
Analyse des Beginns und der Spitzenlatenz
Um auf statistische Unterschiede in den Beginn- oder Spitzenlatenzen zwischen verschiedenen Gesichtsdimensionen zu testen, führten wir Bootstrap-Tests durch. Wir bootstrapten die subjektspezifischen Zeitverläufe (z.B. gemessen als Dekodiergenauigkeit, partielle Korrelation oder Kommonalitätskoeffizient) 1000-mal, um eine empirische Verteilung des Onset (d.h. minimaler signifikanter Zeitpunkt nach Stimulusbeginn) und der Peak-Latenzen (d.h. maximaler Korrelationswert zwischen 80 und 180 ms nach Stimulusbeginn) zu erhalten. Wir beschränkten das Zeitfenster für die Peak-Analyse auf 180 ms nach Stimulusbeginn, da wir uns für den ersten Peak interessierten, der nach Stimulusbeginn auftrat und nicht durch spätere Peaks (z. B. aufgrund von Stimulus-Offset-Reaktionen66) beeinträchtigt wurde. Das 2,5. und das 97,5. Perzentil dieser Verteilungen definierten das 95%-Konfidenzintervall für die Anfangs- bzw. Spitzenlatenz. Für Unterschiede zwischen Latenzen wurden 1000 Bootstrap-Stichproben der Differenz zwischen zwei Latenzen (z. B. Beginn) berechnet, die eine empirische Verteilung der Latenzunterschiede ergaben. Die Anzahl der Unterschiede, die kleiner oder größer als Null waren, geteilt durch die Anzahl der Permutationen, definierte den p-Wert (d. h. zweiseitige Tests). Diese p-Werte wurden für Mehrfachvergleiche mit Hilfe der Falschentdeckungsrate (FDR) auf einem Niveau von 0,05 korrigiert.