Participants
Tutkimukseen osallistui 21 tervettä vapaaehtoista, joilla oli normaali tai normaaliksi korjattu näkö. Viisi koehenkilöä suljettiin pois ennen tietojen analysointia vähintään yhden seuraavista poissulkukriteereistä vuoksi: liiallinen liike nauhoituksen aikana, käyttäytymissuoritukset, jotka olivat alle kaksi keskihajontaa keskiarvosta, tai puutteelliset nauhoitukset teknisten ongelmien vuoksi. MEG-analyysiä varten jäi jäljelle 16 koehenkilön (kahdeksan naista; keski-ikä 25,9, SD = 4,33) tiedot. Valittu otoskoko perustui aiempiin tutkimuksiin, joissa käytettiin EEG/MEG-tietojen monimuuttujapurkua16,17,23. Neljätoista näistä 16 koehenkilöstä osallistui lisäksi verkossa suoritettuun käyttäytymisen seurantakokeeseen. Kaikki koehenkilöt antoivat tietoon perustuvan kirjallisen suostumuksen ennen koetta. Massachusetts Institute of Technologyn (MIT) komitea, joka käsittelee ihmisten käyttöä koehenkilöinä, hyväksyi koeprotokollan (COUHES nro 1606622600), ja tutkimus suoritettiin noudattaen kaikkia asiaankuuluvia eettisiä määräyksiä, jotka koskevat työskentelyä ihmisosallistujien kanssa.
Kokeellinen rakenne ja ärsykkeet
Kasvojen käsittelyn ajallisen dynamiikan tutkimiseksi koehenkilöt katselivat eri identiteettiä edustavia kasvokuvia samalla, kun he valvoivat identtisten kuvien peräkkäisten toistojen seurantaa (ts, 1-back-tehtävä; kuva 1a) MEG:ssä. Valitsimme identiteeteiksi kahdeksan tuttua (eli kuuluisat näyttelijät Yhdysvalloissa) ja kahdeksan tuntematonta (eli saksalaiset näyttelijät) julkkiksia, jotka vaihtelivat ortogonaalisesti sukupuolen ja iän suhteen siten, että puolet oli naisia ja puolet miehiä, ja puolet heistä oli nuoria (eli maksimi-ikä oli 36 vuotta) ja puolet vanhoja (eli minimi-ikä oli 59 vuotta). Huomaa, että tässä sukupuolella viitataan kasvojen sukupuoleen.
Varmistaaksemme, että kaikki koehenkilöt todella tunsivat tuttujen identiteettien joukon, koehenkilöt suorittivat ennen tutkimusta online-seulontatehtävän. Tässä seulonnassa esitimme heille yhden kuvan kustakin 16 identiteetistä (eri kuin MEG-tutkimuksessa käytetyt kuvat) ja kysyimme, tuntevatko he näytetyn henkilön. Tutkimukseen otettiin mukaan vain koehenkilöt, jotka tunnistivat jokaisen kahdeksasta tutusta identiteetistä (esim. antamalla nimet tai asiayhteydet, joissa he muistivat henkilön).
Lopulliset MEG-tutkimuksessa käytetyt ärsykkeet koostuivat viidestä harmaasävykuvasta kustakin 16 identiteetistä, yhteensä 80 ärsykettä. Valitsimme kutakin identiteettiä varten internetistä viisi kuvaa, jotka vaihtelivat useiden seikkojen, kuten ilmeen (vähintään kaksi hymyilevää ja kaksi neutraalia kasvonilmettä), silmien katseen (yksi käännetty vasemmalle, yksi käännetty oikealle, kaksi suunnattua katsetta ja yksi katse, joka on kohdistettu pyöritetyn pään kanssa samaan linjaan), asennon (yksi, jossa päätä on käännetty hiukan sivulle), valaistuksen, hiusten jne. suhteen. Tämän jälkeen vakioimme kaikki kuvat mallin mukaisiksi kiertämällä, skaalaamalla ja rajaamalla ne nenän kärjen, suun keskipisteen ja molempien silmien sijainnin perusteella ja tallensimme ne harmaasävykuviksi.
MEG-kokeen aikana koehenkilöt katselivat kasvokuvakokeiluja (kuva 1a). Jokainen koe alkoi kasvokuvan esittämisellä 0.2 s:n ajan, jota seurasi 0.8-1 s:n interstimulaatioväli (ISI; tasaisesti poimittu 0.8 ja 1 s:n välillä), jonka aikana esitettiin harmaa ruutu. Koehenkilöitä ohjeistettiin vastaamaan painikkeen painalluksella identtisen kuvan peräkkäiseen toistoon kuvan esittämisen aikana tai ITI:n aikana. Silmien liikkeistä tai räpyttelystä johtuvien artefaktien välttämiseksi koehenkilöitä ohjeistettiin fiksoimaan musta fiksaatioristi ruudun ylemmässä keskipisteessä kuvan esittämisen (eli kasvojen nenän kärjen ja silmien välissä) ja ISI:n aikana. Heitä pyydettiin lisäksi räpäyttämään silmiään samaan aikaan, kun he antoivat painikevastauksen, sillä näitä kokeita ei otettu mukaan tietojen analysointiin.
Henkilöt katsoivat 28 koelohkoa, joissa kukin 80 kuvasta esitettiin kerran satunnaisesti lomitettuna 20 tehtäväkokeen kanssa (1-back-tehtävä), yhteensä 100 koetta lohkoa kohti. Tehtäväkokeet pseudosatunnaistettiin siten, että jokainen 80 kuvasta näytettiin lisäksi seitsemän kertaa tehtäväkokeena, yhteensä 35 esitystä. Ärsykkeiden esittämistä ohjattiin ja vastaukset kerättiin käyttämällä Psychtoolbox 3 for Matlab -ohjelmaa51,52. Koe kesti noin 70 minuuttia.
MEG-tallennus ja esikäsittely
MEG-data kerättiin 306-kanavaisella Elekta Triux -järjestelmällä, jossa oli 1000 Hz:n näytteenottotaajuus, ja se suodatettiin verkossa välillä 0,01-330 Hz. Pään asentoa seurattiin MEG-tallennuksen aikana viiden pään asentoa ilmaisevan kelan perusteella, jotka oli sijoitettu tiettyihin pään kiintopisteisiin. Esikäsittelimme raakadatan Maxfilter-ohjelmistolla (Elekta, Tukholma) pään liikkeen poistamiseksi ja datan denoiseeraamiseksi spatiotemporaalisilla suodattimilla. Sen jälkeen käytimme Brainstormia (versio 3.453) poimimaan tutkimukset -200-800 ms:n väliltä kuvan alkamisen suhteen. Brainstormissa jokainen koe korjattiin perusviivakorjauksella poistamalla kunkin MEG-anturin keskimääräinen aktivaatio -200 ms:n ja ärsykkeen alkamisen väliltä, ja pääkomponenttianalyysia käytettiin silmien räpäytysartefaktien poistamiseen, jotka havaittiin automaattisesti frontaalianturin MEG-datasta. Käytimme 6000 fT huippu-huippu-hylkäyskynnystä huonojen kokeiden hylkäämiseen, tuotiin jäljelle jääneet kokeet Matlabiin (versio 2016a; The Mathworks, Natick, MA) ja tasoitettiin ne 30 Hz:n alipäästösuodattimella. Huomaa, että suoritimme analyysin myös suodattamattomille tiedoille, jotka antoivat hyvin samanlaisia tuloksia (ks. lisähuomautus 2). Melun vähentämiseksi edelleen ja laskentakustannusten vähentämiseksi yhdistimme kunkin koehenkilön osalta kunkin MEG-anturin tiedot ajan mittaan ja sovelsimme pääkomponenttianalyysia MEG-anturitietoihin (säilyttäen kaikki komponentit, jotka selittivät 99,99 prosenttia tietojen varianssista). Tämä vaihe vähensi 306 MEG-anturin ominaisuuksien joukon noin 70 pääkomponenttiin (PC) koehenkilöä kohti, ja suoritimme kaikki jatkoanalyysit tällä pienennetyllä joukolla. Tämän jälkeen korjasimme jokaisen kokeen perusviivan poistamalla jokaisesta PC:stä -200 ms:n ja ärsykkeen alkamisen välisen keskimääräisen aktivaation. Näitä PC-pisteitä jokaisesta kokeesta ja jokaisesta ajankohdasta käytettiin myöhemmissä analyyseissä.
MEG-monimuuttujainen kuvioanalyysi
Käytimme monimuuttujaista kuvioanalyysiä poimiaaksemme ajallista tietoa kasvojen ärsykkeistä MEG-datasta (Kuva 2). Saadaksemme samankaltaisuusmitan jokaiselle ärsykeparille käytimme lineaaristen tukivektorikoneiden (SVM; libsvm54) ristiinvalidoitua pareittaista luokittelutarkkuutta. Luokitteluanalyysi suoritettiin erikseen kullekin aiheelle aikaresoluutiolla (eli itsenäisesti jokaiselle aikapisteelle). Analyysin kuvio koostui PC-pisteistä yhden kokeen ja yhden tilan osalta tietyssä aikapisteessä. Ensimmäisessä vaiheessa keskiarvoistimme kaikki yhden ehdon kaikki kokeet satunnaisesti määräämällä jokaisen kokeen yhteen viidestä osituksesta ja keskiarvoistamalla kokeet kussakin osituksessa (~ 5-7 koetta per ositus, kun otetaan huomioon huonot kokeet). Sitten jaoimme ryhmät koulutus- ja testausdataan valitsemalla satunnaisesti yhden ryhmän testausta varten ja loput ryhmät koulutusta varten (eli viisinkertainen ristiinvalidointi). Tämän jälkeen suoritimme binäärisen luokittelun kaikista 3170 parittaisesta vertailusta (eli 80 × 79/2 yhdistelmää) olosuhteiden välillä. Tämä luokittelumenettely toistettiin 100 kertaa. Toistojen keskimääräiset dekoodaustarkkuudet toimivat arvona 80 × 80 dekoodausmatriisissa, jota kutsutaan edustavaksi dissimilariteettimatriisiksi (representational dissimilarity matrix, RDM). Tämä RDM on symmetrinen ja diagonaali on määrittelemätön. Koko menettelyn tuloksena saatiin yksi MEG RDM kullekin koehenkilölle ja aikapisteelle.
Saadaksemme mittarin siitä, kuinka hyvin kukin kasvojen ärsyke voidaan erottaa kaikista muista MEG:n kuvista (eli kuvan dekoodaus), keskiarvoistimme kaikki pareittaiset dekoodaustarkkuudet kunkin RDM:n alemmassa kolmiossa. Näin saatiin yksi keskimääräinen dekoodaustarkkuuden arvo koehenkilöä ja ajankohtaa kohti. Kuvan dekoodauksen aikakäyrä toimii lisäksi vertailukohtana MEG-datan matalan tason kuvankäsittelyn aikakäyrälle. Tutkiaksemme, kuinka pysyviä neuraaliset vasteet olivat kasvokuviin, laajensimme SVM-dekoodausmenettelyä edelleen ajallisella yleistämismenetelmällä16,55,56. Tämän analyysin yksityiskohdat ja tulokset löytyvät lisähuomautuksesta 4.
Esittelyn samankaltaisuusanalyysi
Analysoidaksemme kasvojen ulottuvuuksien edustusta MEG-datassa käytimme esittelyn samankaltaisuusanalyysiä (RSA). Loimme kullekin kasvojen ulottuvuudelle mallin RDM:t, jotka olivat 80 × 80-binäärimatriiseja, joissa 1 vastasi kategorian välistä ärsykevertailua (esim. mies vs. nainen sukupuolimallissa) ja 0 kategorian sisäistä ärsykevertailua (esim. nainen vs. nainen). Tämän menettelyn tuloksena saatiin neljä kasvomallia, jotka vastasivat ärsykkeiden tuttuus-, sukupuoli-, ikä- ja identiteettiulottuvuuksia. Kunkin mallin ja MEG-datan välisten korrelaatioiden laskemiseksi poimimme kunkin matriisin alemman off-diagonaalin vektoreina. Kunkin mallin ja koehenkilön osalta laskimme osittaiset rank-kertoimet (Spearmanin korrelaatio) mallin ja MEG RDM:n välillä kullakin ajanhetkellä, kun kaikki muut kasvomallit on poistettu. Tämä vaihe oli ratkaisevan tärkeä, koska jotkin malleista korreloivat keskenään (esim. identiteettivertailujen välillä, jotka koostuivat sukupuolivertailuista), ja muiden mallien osittainen poisjättäminen mahdollisti näin ollen mallien kontribuutioiden erottamisen toisistaan.
Koska halusimme edelleen sulkea pois ärsykkeidemme matalan tason piirteiden vaikutuksen tuloksiin, ositimme lisäksi pois matalan tason piirteiden mallin. Tämä matalan tason ominaisuuksien malli laskettiin poimimalla ominaisuuksia jokaiselle 80 ärsykkeelle tuhansilla kasvoidentiteeteillä koulutetun syvän, konvolutiomaisen keinotekoisen neuroverkon (CNN) toisesta konvoluutiokerroksesta (VGG-Face57). Käytimme 1 – Pearsonin korrelaatiota kunkin ärsykeparin CNN-yksiköiden välisen eroavaisuuden mittana, mikä johti matalan tason kuvaominaisuuksiin perustuvaan 80 × 80 RDM:ään. Huomaa, että vertasimme myös muita matalan tason piirteiden malleja (esim. HMAX C258,59, Gist60, pikselipohjainen samankaltaisuus), jotka tuottivat samankaltaisia tuloksia; raportoimme tässä VGG-Face-mallin, koska se saavutti maksimaalisen korrelaation MEG-datan kanssa ja selittää siten suurimman osan datasta (matalan tason piirteillä selitettävissä olevana).
Tutkinut tutuksi tulemisen vaikutusta kasvojenkäsittelyyn jaottelemalla MEG:n ja mallin mukaiset RDM:t tuttujen sisällä oleviin ja tuntemattomien sisällä oleviin RDM:iin. Kukin näistä RDM:istä oli 40 × 40 RDM, joka koostui vain tutuista tai vain tuntemattomista kasvokuvista. Tämän jälkeen suoritimme saman analyysin kuin täydelle ärsykkeiden joukolle (ks. edellä). Testataksemme edelleen tuttujen ja tuntemattomien kasvojen käsittelyn välisiä eroja vähensimme tuntemattomien kasvojen korrelaation aikakäyrät tuttujen kasvojen osalta saaduista aikakäyristä kunkin koehenkilön osalta ja vertasimme tilastollisesti näitä eroaikakäyriä nollaan (ks. Tilastollinen päättely jäljempänä). Huomaa, että vaikka yritimme valita tuttujen ja tuntemattomien kasvokuvien erilaiset sarjat mahdollisimman objektiivisesti, emme voi täysin sulkea pois sitä, että ärsykkeiden sarjojen väliset erot vaikuttivat tähän analyysiin. Siksi suoritimme lisäanalyysin VGG-Face, jossa testasimme ärsykkeistä johtuvia tuttuuden vaikutuksia VGG-Facein varhaisessa ja myöhäisessä kerroksessa, mikä viittaa siihen, että tällaiset erot eivät voisi suoraviivaisesti selittää havaintojamme (ks. Täydentävä huomautus 1).
Lisäksi on tärkeää huomata, että kategorisen tiedon aikasarjat (esim, sukupuoli) rakennettiin korreloimalla MEG RDM -matriisi malli RMD: n kanssa, joka koostuu nolloista, jotka vastaavat kategorian sisäisiä (esim. Nainen tai mies) ja ykkösiä, jotka vastaavat kategorian välisiä ärsykevertailuja. MEG RDM:n ja mallin RDM:n välinen korrelaatio (samalla kun kaikki muut mallit jätettiin pois) toimi kategoriajäsenyyden mukaisen klusteroitumisen mittarina. Vaihtoehtoinen lähestymistapa kategorisen informaation aikasarjojen laskemiseen on kouluttaa suoraan luokittelija erottamaan kategoriat (esim. naisen ja miehen välinen identiteetti) ärsykkeiden välillä. Vaikka tällainen metodologinen lähestymistapa voi olla yleisesti ottaen herkkä kategorisen ärsyketiedon eri näkökohdille, se tuotti johdonmukaisia tuloksia tiedoissamme (ks. Täydentävä huomautus 3).
Käyttäytymisen samankaltaisuuskoe
Neljätoista 16 koehenkilöstä suoritti lisäksi käyttäytymisen monijärjestelytehtävän61 samoille ärsykkeille erillisenä päivänä MEG-kokeen jälkeen. Koehenkilöt suorittivat monijärjestelykokeen verkossa käyttäen omaa tietokonettaan ja kirjautumalla käyttäytymiskokeiden suorittamiseen tarkoitettuun verkkoalustaan (). Koehenkilöiden oli syötettävä anonyymi, henkilökohtainen koodi, joka annettiin heille sähköpostitse kokeen aloittamiseksi. Kokeessa kaikki 80 ärsykettä, jotka koehenkilö oli aiemmin nähnyt kokeessa, järjestettiin pikkukuviksi näytön keskellä olevan valkoisen ympyrän ympärille. Koehenkilöitä ohjeistettiin järjestämään nämä pikkukuvat niiden havaitun samankaltaisuuden perusteella (”samankaltaiset kuvat yhteen, erilaiset kuvat erilleen”, ilman nimenomaisia ohjeita siitä, mitä ominaisuutta tulisi käyttää) vetämällä ja pudottamalla niitä ympyrään. Koe päättyi automaattisesti, kun riittävä signaali-kohinasuhde oli saavutettu (eli todisteiden painoarvo oli asetettu 0,5:een). Kokeen keskimääräinen kesto oli ~70 minuuttia. Kokeen päätyttyä laskettiin järjestettyjen pikkukuvien pareittaiset neliöetäisyydet ruudulla, mikä edustaa käyttäytymis-RDM:ää. Kunkin koehenkilön osalta poimimme alemman off-diagonaalisen datan käyttäytymis-RDM: stä ja korreloimme tämän vektorin vastaavien MEG RDM: ien kanssa kunkin aikapisteen osalta. Laskimme lisäksi tämän korrelaation kohinan enimmäismäärän saadaksemme arvion korrelaation ylä- ja alarajasta, kun otetaan huomioon tässä analyysissä rajoitetun koehenkilöjoukon vaihtelu. Arvioimme kohinan ylärajan tässä kuvatun menetelmän mukaisesti62. Lyhyesti sanottuna arvioimme korrelaation ylärajan kunkin koehenkilön keskimääräiseksi korrelaatioksi ryhmän keskiarvon kanssa. Koska tämä korrelaatio sisältää korrelaation koehenkilön itsensä kanssa, se edustaa todellisen mallin keskimääräisen korrelaation yliarviota. Sitä vastoin alaraja lasketaan ottamalla kunkin koehenkilön keskimääräinen korrelaatio kaikkien muiden koehenkilöiden keskiarvon kanssa (lukuun ottamatta koehenkilöä itseään). Tämä aliarvioi todellisen mallin keskimääräistä korrelaatiota rajoitetun aineiston vuoksi. Yhdessä kohinan yläraja antaa arvion suurimmasta saavutettavissa olevasta korrelaatiosta, ja se on hyödyllinen viitteenä erityisesti silloin, kun havaitaan alhaisia mutta merkittäviä korrelaatioarvoja.
Lisäksi arvioidaksemme kunkin mallin yksilöllistä osuutta MEG:n ja käyttäytymis-RDM:ien jaettuun varianssiin suoritimme lisäksi yhteismitallisuuden analyysin, joka on varianssin partitiointimenetelmä, joka arvioi jaetun varianssin useampien kuin kahden muuttujan välille20,63. Lyhyesti sanottuna laskimme kunkin kasvomallin (esim. sukupuoli) ainutlaatuisen varianssin laskemalla kaksi korrelaatiokerrointa: Ensinnäkin laskimme kullekin koehenkilölle osittaisen korrelaation MEG:n ja käyttäytymis-RDM:ien välillä, kun kaikki mallit (sukupuoli, ikä, identiteetti ja matalan tason ominaisuusmalli) oli poistettu. Toiseksi laskimme osittaisen korrelaation MEG RDM:n ja behavioraalisen RDM:n välillä, kun kaikki kasvomallit ja matalan tason ominaisuusmalli jätettiin pois, mutta yksi kasvomalli jätettiin pois (esim. sukupuoli). Näiden kahden osittaisen korrelaatiokertoimen erotus edustaa kyseisen mallin tuottamaa ainutlaatuista varianssia, jota kutsutaan yhteisyyskertoimeksi. Tämä vaihe toistettiin jokaiselle MEG-aikapisteelle, jolloin jokaiselle kasvomallille saatiin yhteismitallisuuskertoimen aikajakso.
Statistinen päättely
Kaikkiin analyyseihin käytimme ei-parametrisia tilastollisia testejä, jotka eivät nojaudu tietojen jakaumia koskeviin oletuksiin64,65. Dekoodaustarkkuuden (kuvan dekoodaus) tai osittaisen korrelaation (esim. mallin korrelaatio) aikasarjojen tilastollista päättelyä varten suoritimme permutaatiopohjaisen klusterin koon päättelyn (eli klusterilla tarkoitetaan vierekkäisten aikapisteiden joukkoa). Nollahypoteesi vastasi 50 %:n todennäköisyystasoa dekoodaustarkkuuksien osalta ja 0:ta korrelaatioarvojen tai korrelaatioerojen osalta. Merkitsevät ajalliset klusterit määriteltiin seuraavasti. Ensin permutoitiin MEG-datan olosuhdemerkinnät kertomalla satunnaisesti koehenkilön vastaukset + 1 tai -1 (eli merkkipermutaatiotesti). Toistimme tämän menettelyn 1000 kertaa, mikä johti permutaatiojakaumaan jokaiselle aikapisteelle. Toiseksi aikapisteet, jotka ylittivät permutaatiojakauman 95. prosenttipisteen, toimivat klustereita aiheuttavina aikapisteinä (eli vastaavat p < 0.05; yksipuolinen). Lopuksi, aikaklusterit määriteltiin 95. persentiiliksi suurimmasta määrästä vierekkäisiä, merkitseviä aikapisteitä kaikissa permutaatioissa (ts. Vastaava p < 0.05; yksipuolinen).
Alku- ja huippulatenssianalyysi
Testataksemme tilastollisia eroja alkamisajankohdan tai huippulatenssin latensseissa eri kasvojen ulottuvuuksien välillä suoritimme bootstrap-testejä. Bootstrappasimme koehenkilökohtaiset aikakäyrät (esim. mitattuna dekoodaustarkkuutena, osittaiskorrelaationa tai yhteisyyskertoimena) 1000 kertaa saadaksemme empiirisen jakauman alkamisajankohdalle (eli pienimmälle merkitsevälle aikapisteelle ärsykkeen alkamisajankohdan jälkeen) ja huipun latensseille (eli suurimmalle korrelaatioarvolle 80-180 ms:n välillä ärsykkeen alkamisajankohdan jälkeen). Rajoitimme huippuanalyysin aikaikkunan 180 ms: iin ärsykkeen alkamisen jälkeen, koska olimme kiinnostuneita ensimmäisestä ärsykkeen alkamisen jälkeen esiintyvästä huipusta, jota eivät häirinneet myöhemmät huiput (esim. ärsykkeen offset-vasteiden vuoksi66). Näiden jakaumien 2,5. ja 97,5. persentiili määrittivät 95 prosentin luottamusvälin alkamiselle ja huippuviiveelle. Latenssien välisten erojen osalta laskimme 1000 bootstrap-näytettä kahden latenssin (esim. alkamisajankohdan) välisestä erosta, mikä johti latenssierojen empiiriseen jakaumaan. Nollaa pienempien tai suurempien erojen määrä jaettuna permutaatioiden lukumäärällä määritteli p-arvon (eli kaksipuolinen testaus). Nämä p-arvot korjattiin moninkertaisten vertailujen osalta käyttämällä väärän löydön määrää (false discovery rate, FDR) 0,05-tasolla.