Sædvanligvis er de studerende i stand til at huske begreberne pålidelighed og validitet. Ofte forstår de imidlertid ikke rigtig betydningen af disse begreber, og som følge heraf forveksler de dem. Denne korte illustration er med til at føre til en diskussion af begreberne, som gør dem i stand til at forstå betydningen af både reliabilitet og validitet.
Efter at have bemærket, at eleverne har læst om reliabilitet og validitet til
den pågældende dags undervisning, beder jeg om frivillige til at forklare forskellen mellem dem.
Når vi har gennemgået de korrekte definitioner (givet enten af de frivillige eller
med hjælp fra andre i klassen), bemærker jeg, at eleverne ofte forveksler disse begreber, og at jeg vil give dem et eksempel til at illustrere begge
begreber.
Jeg forklarer derefter, at jeg som mange mennesker ikke passer mit tøj på den måde
som jeg plejede at gøre. Det ser ud til, at mit tøj er blevet mindre og mindre. Dette er
særligt blevet et problem i løbet af det sidste år. På dette tidspunkt tager jeg en badevægt frem og placerer den på gulvet, hvor alle kan se den. Jeg træder op på vægten og siger: “Hver morgen går jeg op på vægten, jeg kigger ned og ser, at jeg vejer ___ pund.” (Det er altid nyttigt at indsætte humor i foredraget, så jeg plejer at lægge hånden for munden, hver gang jeg gentager min vægt, og mumle beløbet, så man ikke kan høre det). Jeg fortsætter med at sige: “Denne badevægt er et måleinstrument. Ligesom de spørgeskemaer, du har læst om i bogen, måler den noget – i dette tilfælde kun én variabel – nemlig din vægt. Dette særlige måleinstrument er pålideligt. Når den anvendes i den samme situation, giver den det samme resultat. Når jeg træder op på vægten i morgen, vil jeg således stadig veje et kilo. (Under forudsætning af, at jeg ikke har tabt eller taget på i vægt i de 24 timer, der er gået, siden jeg sidst stod på vægten). Denne vægt er imidlertid ikke et gyldigt måleinstrument. Den giver ikke en sand måling af den variabel, som den foregiver at måle.”
På dette tidspunkt træder jeg af vægten, tager den op og leger med drejeknappen, som
giver en person mulighed for at justere vægten på vægten. Jeg fortsætter med at sige: “På grund af det faktum, at mit tøj er blevet mindre (og min vægt er nu højere, end jeg gerne vil have), brugte jeg denne lille drejeknap i sidste uge til at få vægten til at vise fem pund lettere. Er der nogen af jer, der nogensinde har gjort det? Denne vægt er altså stadig en pålidelig målestok. Den er dog ikke et gyldigt mål. Den giver de samme resultater, men det er ikke de korrekte resultater.”
Efter denne korte illustration henvender jeg mig derefter til klassen som helhed og beder dem om eksempler fra samfundsvidenskabelige data, hvor et mål kan være pålideligt, men ikke gyldigt. Jeg er altid forberedt med nogle af mine egne eksempler til at bakke illustrationer fra klassen op. En særlig nyttig illustration: I et spørgeskema kan man spørge en forælder, hvor mange gange han eller hun har slået sit barn hårdt i den sidste uge. Svarene ville sandsynligvis være ret pålidelige – konsekvente svar på 0. De ville dog måske ikke være gyldige.