Opiskelijat pystyvät yleensä muistamaan reliabiliteetin ja validiteetin käsitteet. Usein he eivät kuitenkaan todella ymmärrä näiden käsitteiden merkityksiä, minkä seurauksena he sekoittavat ne. Tämä lyhyt havainnollistus auttaa johtamaan keskusteluun käsitteistä, joiden avulla he voivat ymmärtää sekä luotettavuuden että pätevyyden merkityksen.
Huomautettuani, että oppilaat ovat lukeneet luotettavuudesta ja pätevyydestä
tämän päivän oppituntia varten, pyydän vapaaehtoisia selittämään niiden välisen eron.
Katsottuamme läpi oikeat määritelmät (jotka annetaan joko vapaaehtoisilta tai
muiden luokan oppilaiden avustuksella) totean, että oppilaat sekoittavat usein nämä käsitteet keskenään ja että annan heille esimerkin, joka auttaa havainnollistamaan molempia
käsitteitä.
Selvitän sen jälkeen, että monien ihmisten tapaan minäkään en sovi vaatteisiini enää samalla tavalla
kuin ennen. Vaikuttaa siltä, että vaatteeni ovat kutistuneet. Tästä
on tullut ongelma erityisesti viimeisen vuoden aikana. Tässä vaiheessa valmistan kylpyhuoneen vaa’an ja asetan sen lattialle kaikkien nähtäville. Astun vaa’alle ja sanon: ”Joka aamu kun nousen vaa’alle, katson alaspäin ja näen, että painan ___kiloa.” (Huumorin lisääminen luentoon on aina hyödyllistä, joten yleensä laitan käteni suuni päälle joka kerta, kun toistan painoni, ja mutisen määrän niin, ettei sitä kuule). Jatkan sanomalla: ”Tämä kylpyhuoneen vaaka on mittausväline. Aivan kuten kyselylomakkeet, joista olette lukeneet kirjassa, se mittaa jotakin – tässä tapauksessa vain yhtä muuttujaa – painoa. Tämä mittausväline on luotettava. Kun sitä sovelletaan samaan tilanteeseen, se tuottaa saman tuloksen. Näin ollen, kun astun vaa’alle huomenna, painan edelleen kiloa. (Olettaen, etten ole laihtunut tai lihonut vuorokauden aikana siitä, kun viimeksi astuin vaa’alle). Vaaka ei kuitenkaan ole pätevä mittausväline. Se ei anna oikeaa mittaustulosta siitä muuttujasta, jota sen väitetään mittaavan.”
Tässä vaiheessa astun pois vaa’an päältä, nostan vaa’an ylös ja leikin säätöpyörällä, jonka
avulla henkilö voi säätää vaa’an painoa. Jatkan sanomalla: ”Koska vaatteeni ovat kutistuneet (ja painoni on nyt korkeampi kuin haluaisin), käytin viime viikolla tätä pientä säätöpyörää saadakseni vaa’an näyttämään viisi kiloa kevyempää. Onko kukaan teistä koskaan tehnyt niin? Tämä vaaka on siis edelleen luotettava mittari. Se ei kuitenkaan ole pätevä mittari. Se tuottaa samat tulokset, mutta ne eivät ole oikeita tuloksia.”
Tämän lyhyen havainnollistamisen jälkeen käännyn sitten koko luokan puoleen ja pyydän heitä kertomaan yhteiskuntatieteellisestä aineistosta esimerkkejä, joissa jokin mittari voi olla luotettava, mutta ei pätevä. Olen aina valmistautunut omilla esimerkeilläni tukemaan luokan esittämiä havainnollistuksia. Erityisen hyödyllinen esimerkki: Kyselylomakkeessa saatetaan kysyä vanhemmalta, kuinka monta kertaa hän hakkasi lastaan ankarasti viimeisen viikon aikana. Vastaukset olisivat todennäköisesti melko luotettavia – johdonmukaisia vastauksia 0. Ne eivät kuitenkaan välttämättä olisi päteviä.