Sammenligning af web-skemaer og telefoninterviews som dataindsamlingsmetode
19/02/2019
Kommentarer
Udbredelsen af internettet gør det oplagt, at statistikproducenter må overveje at anvende web-skemaer — hvor respondenten bevarer spørgsmålene på sin computer uden medvirken af en interviewer — som alternativ til traditionelle telefoninterviews. I mange tilfælde kombinerer producenten de to metoder. Det rejser naturligt spørgsmålet om metoderne giver samme resultat.
Det gør de nok i nogle tilfælde — måske også i de fleste tilfælde — men de gør det ikke altid. Pew Research Center præsenterer i en ny YouTube-video et kort redegørelse for forskellene mellem de svar, der modtages ved anvendelse af web-skemaer og de svar, der modtages i telefoninterviews. I en rapport fra 2015, har de leveret en mere dybtgående analyse af forskellene. Rapporten er baseret på besvarelser af det samme spørgeskema fra to grupper — en der blev interviewet telefonisk, og en der besvarede et web-skema. I hver gruppe indgik ca. 1500 personer.
Hovedbudskabet er, at ved de fleste typer af spørgsmål er der kun små forskelle mellem resultaterne fra de to metoder. Men undersøgelsen viser også, at navnlig ved tre typer af spørgsmål har interviewformen afgørende betydning. Det gælder nogle, men ikke alle, spørgsmål om livskvalitet, helbred og finansielle problemer, spørgsmål om social diskrimination og spørgsmål om vurderingen af politikere. Ved telefoninterviews var respondenterne mere tilbøjelige til at udtrykke tilfredshed med livskvalitet, helbred og finansiel situation, mere tilbøjelige til at se diskrimination som et problem, og mere tilbøjelige til at udtrykke stærkt negative holdninger til politiske modstandere.
Karakteristisk for de spørgsmål, hvor forskellene i svar er størst, er at der kan indgå et element af social eller politisk korrekthed i opfattelsen af svarende. Ved telefoninterviews, hvor der er direkte kontakt med intervieweren bliver svarene mere socialt og politisk korrekte, end ved web-baserede interviews, hvor den interviewede er alene. Tendens til skævhed i besvarelser i retning af det socialt accepterede eller forventede er et velkendt problem i spørgeskemabaseret statistik, og det er ikke så overrakende, at skævheden bliver større, når der er direkte kontakt til en interviewer. Men det er også et vigtigt resultat af Pew’s undersøgelse, at ikke alle typer spørgsmål er belastet af denne tendens.
Tendensen til socialt acceptable svar er den klart vigtigste kilde til forskelle i undersøgelsen, men Pew understreger, at der er andre. F,eks. er der en tendens til, at den interviewede når han præsenteres for en række svarmuligheder, vil vil vælge det sidste af de opstillede alternativer ved et telefoninterview og det første ved web-undersøgelser, hvor han sidder med spørgeskemaet foran sig.
Pew antager, bl.a. på baggrund af andre undersøgelser, at de observerede forskelle i besvarelser ved de to metoder kan tilskrives, at der svares mere ærligt, når der ikke en interviewer indblandet. Svarene fra web-skemaerne er med andre ord af bedre kvalitet. Da metoden også er billigere at gennemføre end telefoninterviews, er der gode grund til at anvende den. Men ikke alle har adgang til internet og er villige til at besvare web-skemaer. Derimod har stort set alle adgang til telefon og villigheden til at deltage i telefoninterviews er større. Det betyder, at undersøgelser baseret på telefoninterviews er mere repræsentative end web-undersøgelser. Den mulige kvalitetsgevinst ved mere ærlige svar i web-undersøgelserne må derfor holdes op mod det mulige tab i repræsentativitet.
Referencer
Pew Research Center: “Phone vs. online surveys: Why do respondents’ answers sometimes differ by mode?”, YouTube 7/2-2019 (link)
Pew Research Center: “From Telephone to the Web: The Challenge of Mode of Interview Effects in Public Opinion Polls”, 13/5-2015 (link)
