Kategori: Produktion og metode

Spørgeskemaer på papir som grundlag for statistiske undersøgelser er vel ikke helt forsvundet, men det typiske i dag er nok at skemaerne udfyldes på en computer eller mobiltelefon. Herfra er vejen ikke lang til at erstatte nogle af  spørgsmålene med automatiske registreringer fra mobiltelefonens indbyggede sensorer, f.eks. tidspunkt, geografisk lokation og temperatur. Undersøgelser, der anvender mobiltelefoner til at kombinere traditionelle spørgsmål med automatiske registreringer har fået betegnelsen smart surveys. De automatisk indsamlede data er eksempler på organiske data (se tidl indlæg). De officielle statistikproducenter har for længst set, at de kan spille en rolle som garanter for at undersøgelser baseret på organiske data opfylder fundamentale krav omkring kvalitet og fortrolighed (se tidl indlæg). Sådanne garanterede undersøgelser betegnes trusted smart statistics. Når disse garantier implementeres på smart surveys får  man trusted smart surveys.

Indenfor rammerne af det europæiske statistiksamarbejde har en række landes officielle statistikbureauer — Danmark er ikke iblandt dem —  etableret et projekt (ESSnet Smart Surveys Project), med det formål at etablere en fælles europæisk platform for anvendelse af trusted smart surveys. I en artikel i det tyske statistikbureaus tidsskrift — Wista — har Shari Stehrenberg og Johannes Volk givet et overblik over status for dette projekt.

Projektet er opdelt i tre parallelle såkaldte arbejdspakker (work packages):

1. Kommunikation og koordinering
2. Udvikling og udførelse af pilotprojekter
3. Konceptuel ramme for platformen

Fire pilotprojekter med temaerne forbrug, tidsanvendelse, sundhed og levevilkår blev udvalgt. Alle fire projekter knyttede sig til eksisterende europæiske statistikker. Udover arbejdspakkerne blev der under projektets forløb dannet arbejdsgrupper med henblik på at sammenknytte punkterne 2 og 3. Stehrenberg og Volk fokuserer i deres artikel på arbejdsgruppen om retslige og etiske  spørgsmål. Denne arbejdsgruppe blev oprettet fordi det viste sig, at de deltagende lande dels fortolkede de gældende europæiske databestyttelsesregler forskelligt og dels havde forskellige nationale regler at forholde sig til. Projektet blev afsluttet med en workshop i maj 2022.

Smart Surveys Projektet var et første skridt på vejen til en fælleseuropæisk platform. Arbejdet fortsættes i et nyt projekt under overskriften Smart Survey Implementation. De første resultater fra dette projekt forventes i sommeren 2024.

Referencer:

Shari Stehrenberg, Johannes Volk: “Trusted Smart Surveys: Fragebogen trift Neue digitale Daten”, Wista 2023 nr 1, Statistisches Bundesamt (link 19/3-2023)
Destatis/Eurostat: “Minutes – Finale Conference Smart Surveys”, Maj 2022 (link 19/3-2023)

Et af principperne (nr. 9) i Eurostats adfærdskodeks for europæisk officiel statistik er, at byrden for indberettere til statistik skal begrænses mest muligt. Hensigten, der udtrykkes i adfærdskodekset, er at der skal være et rimeligt forhold mellem brugernes behov og indberetternes byrde. Statistikkernes omfang og detaljeringsgrad skal derfor begrænses til det absolut nødvendige. Princippet er nok mest møntet på dataindsamling, hvor deltagelse er tvungen, men der er god grund til også at overveje indberetningsbyrden ved undersøgelser, hvor deltagelse er frivillig. Det skyldes at størrelsen af byrden påvirker indberetternes motivation både til at deltage og til at svare fyldestgørende på de stillede spørgsmål, og dermed kvaliteten af den færdige statistik. Det er så meget desto vigtigere i lyset af tendensen til at villigheden til at deltage i spørgeskema- og interviewundersøgelser er vigende.

Man har da også i de senere år set en stigende interesse for indberetningsbyrdens betydning for statistikkernes kvalitet. Det afspejler sig i bl.a. i et voksende antal tidsskriftartikler om omfang, årsager og måling af indberetningsbyrden og om sammenhængen mellem byrdens størrelse og statistikkens kvalitet. Ting Yan — vicedirektør i forskningsinstitutionen Westat  — og Douglas Williams —  seniorforsker i US Bureau of Labor Statistics  — har i en artikel søgt at danne et overblik over den viden om området, der i øjeblikket er tilgængelig, og samtidig skabe en begrebsmæssig fælles sammenhæng til erstatning af de forskellige definitioner,  indfaldsvinkler og begrebsrammer, der har været anvendt i de mange artikler. Det er samtidig forfatternes tanke, at deres resultater skal være en hjælp til planlæggere af spørgeskema- og interviewundersøgelser i deres bestræbelser på at begrænse indberetningsbyrden.

Ved indberetningsbyrde forstår Yan og Williams de negative følelser og det besvær, der opleves af indberetterne. Indberetningsbyrden er således et subjektivt fænomen, hvis størrelse kan måles ved at spørge respondenterne om deres oplevelser. Udover denne subjektive byrde kan man tale om en objektiv byrde, der f.eks kan måles som spørgeskemaets længde, spørgsmålenes kompleksitet og den tid det vil tage at besvare spørgsmålene. I Yan og Williams optik er fokus på den subjektive byrde, men den objektive byrde kan analytisk tjene som forklarende årsag til den subjektive byrde.   

Helt grundlæggende ser Yan og Williams indberetningsbyrden som en dynamisk størrelse, der kan måles på forskellige stadier i indberetningsprocessen. Helt konkret specificerer de byrden i tre centrale tidsrum i det samlede forløb:

• Den initiale byrde: Den subjektive opfattelse af byrden ved modtagelse af anmodningen om at deltage i undersøgelsen.
• Den kumulative byrde: Indberetterens oplevede byrde under forløbet af undersøgelsen og besvarelsen af spørgsmålene..
• Den fortsatte byrde: Den oplevede byrde for indberettere, der anmodes om at deltage i senere runder af undersøgelsen (forekommer kun i longitudinelle undersøgelser)

De tre byrder skal forstås dynamisk, dvs. at de kan ændre sig løbende under undersøgelsesforløbet, i takt med at indberetterne får ny information eller nye erfaringer. Det dynamiske perspektiv er vigtigt fordi byrdens placering i tidsforløbet både har betydning for hvilke konsekvenser der rammer kvaliteten, og hvilke forholdsregler, der kan tages for at begrænse byrden. Den initiale byrde kan føre til at respondenten afviser at deltage, og den kan muligvis afhjælpes bedre præsentation af undersøgelsen og en mere indbydende udformning af spørgeskemaet. Den kumulerede byrde kan føre til at interviewet eller besvarelsen afbrydes eller at spørgsmål springes over eller besvares ufuldstændigt. Afhjælpning kan bl.a. ske gennem bedre udformning af spørgsmålene. Den fortsatte byrde kan få respondenten til at afvise at deltage i senere runder af undersøgelsen og afhænger bl.a. af størrelsen af de to foregående byrder.

Referencer:
Eurostat: “Adfærdskodeks for Europæiske Statistikker”, 2018 (link, 9/1-2023)
Ting Yan og Douglas Williams: “Response Burden  –  Review and Conceptual Framework”, Journal of Official Statistics, Vol. 38, No. 4, 2022, pp. 939–961 (link, 9/1-2023)

Web scraping er en metode til indsamling af data, hvor programmer udviklet til formålet automatisk opsøger hjemmesider og uddrager information fra dem. Programmerne skal være i stand til at finde den ønskede information i den kode, der frembringer hjemmesiden (HTML-kode) og omforme den, således at den bliver brugbar for videre analyse. For officielle statistikproducenter kan der være mange fordele forbundet med at basere statistik på internettets tilgængelige data. F.eks. kan  respondentbyrden begrænses eller helt undgås og dækningen af målpopulationen forbedres, navnlig for internetbaserede aktiviteter som internethandel. Som ved andre anvendelser af organiske data (Big Data) kan dataindsamling ske med høj frekvens, f.eks. dagligt, og hvis  produktionsprocessen er automatiseret kan offentliggørelsen af resultaterne ske hurtigt efter analyseperiodens afslutning. Til gengæld kræves investering i etablering af nye produktionssystemer

Det bedst kendte eksempel på anvendelse af webscraping til statistikproduktion  er The Billion Prices Project (se tidl. indlæg), der ganske vist ikke er officiel statistik, men som af mange centralbanker anvendes som supplement til — og i nogle tilfælde erstatning for — den officielle statistik. The Billion Prices Project leverer inflationsopgørelser for en række lande langt hurtigere og med langt højere frekvens end den officielle statistik.

Anvendelse af webscaping i den officielle statistik er endnu i en pionerfase. Der er ikke mange konkrete projekter, men der er eksperimenter, overvejelser og forberedelser i gang, både omkring metoder, etik og jura. Et af de institutter, der er langt i forberedelserne er UK’s  Office of National Statistics (ONS). ONS har udgivet et notat om retningslinier for anvendelse af web-scraping, hvori det præciseres hvilke juridiske regler der gælder på området, og hvilke etiske principper, der skal gælde for anvendelsen i UK’s officielle statistik. I notatet fremhæves tre grundæggende principper: 

• Minimere byrden for ejerne af websiderne
• Respektere ejeres ønsker om begrænsninger i scraping af deres webside (Robots Exclusion Protocol)
• Overholde den på området gældende lovgivning 

Minimering af byrden for websideejerne skal bl.a ske ved at begrænse antallet af søgninger på side, undgå søgninger på de tidspunkter, hvor siden er mest anvendt og kun søge på de dele af siden, der er relevante for det konkrete formål. 

Referencer:
ONS: “Web Scraping Policy”, ONS 2020 (link)
Olav ten Bosch: “Uses of web scraping for official statistics”, 2016 (link)

De første resultater fra USA’s folketælling for 2020 er kommet. I USA er folketællinger et politisk stridspunkt, fordi resultaterne fra dem danner grundlag for fordeling af både medlemmer af de lovgivende forsamlinger og af forbundets økonomiske ydelser til delstaterne. Ofte inddrages domstolene i striden, og folketællingen for 2020 har ikke været nogen undtagelse i den henseende (se indlæg fra 20/10-2020). Senest er kommet et sagsanlæg fra staten Alabama dels vedrørende en udskydelse af offentliggørelsen forårsaget af Covid19-krisen, og dels vedrørende den metode til beskyttelse af den statistiske fortrolighed, som  Folketællingsbureauet (Census Bureau) har valgt at anvende. Forsinkelsen af offentliggørelsen har betydet, at Alabama ikke har kunnet overholde en tidsfrist vedrørende fastlæggelsen af valgdistrikster fastsat i statens forfatning. Omkring databeskyttelsen er problemet en frygt for at sløringen af resultaterne kan hindre en fair repræsentation af minoriteter og små geografiske områder. Begge påstande blev afvist af federal distriktsdomstol i en kendelse afsagt 30/6 2021.

Den anvendte databeskyttelsesmetode går under navnet differential privacy og har været beskrevet i to tidligere indlæg i denne blog (23/4-2019 og 14/5-2019). En konsekvens af metoden er, at der indlægges støj i resultaterne, således at de offentliggjorte tal afviger lidt fra de faktisk opgjorte. I de fleste tilfælde er afvigelserne små, navnlig set i forhold til samlede usikkerhed, der altid vil være i en folketællingsstatitsik, men i ekstreme tilfælde kan det for meget små populationer give misvisende og i nogle tilfælde meningsløse resultater.

I en erklæring til distriktsdomstolen har John M. Abowd, der er vicedirektør (associate director) for forskning og metode i Folketællingsbureauet, givet en grundig redegørelse for bureauets overvejelser omkring beslutningen om at anvende differential privacy. Fundamentalt set er der tale om en afvejning af to hensyn: respondenternes krav om  fortrolighed og databeskyttelse på den ene side og brugernes krav om detaljerede og præcise opgørelser på den anden. Valget af differential privacy er truffet ud fra en økonomisk efficiensbetragtning. Empiriske undersøgelser har vist, at man ved anvendelse af differential privacy opnår den mest efficiente afvejning mellem de to hensyn.

Hele offentliggørelsesprocessen er på grund af covid-19 krisen forsinket i forhold til de oprindelige planer, men som nævnt er de første resultater nu udkommet. De omfatter en foreløbig opgørelse til brug for fastlæggelsen af valgdistrikter. De endelige og mere detaljerede distriktsdata udkommer den 30. september. Folketællingsbureauet oplyser, at de øvrige opgørelser, herunder detaljeret befolknings- og husholdningsstatistik, følger senere, men har ikke oplyst datoer. Kun opfordret til at holde sig orienteret på deres hjemmeside. 

Referencer:
John M. Abowd: “Declaration of John M. Abowd” (til US District Court for the Middle District of Alabama), 13/4-2021 (link)

Statistikproducenter og -brugere har altid vidst, at manglende ærlighed hos respondenterne omkring kontroversielle og/eller sensitive emner kan give alvorlige skævheder i den færdige statistik. F.eks. må man regne med, at forbruget af tobak, alkohol og bordelbesøg kan være undervurderet i forbrugsundersøgelser, at tid anvendt på motion og avislæsning kan være overvurderet i tidsanvendelsesstudier og at andelen af negative holdninger til minoriteter kan være undervurderet i holdningsundersøgelser. Brugere af statistikken er naturligvis opmærksomme på disse skævheder, og kan tage dem i betragtning i forbindelse med analyser, men det grundlæggende problem — at skævhederne er der, og at man ikke kender omfanget af dem — har man ingen løsning på. Men det er man måske ved at få. Det er i hvert fald den konklusion Seth Stephens-Davidowitz — forsker i dataanalyse og datajournalist ved New York Times — når frem til i en veloplagt og indholdsmættet bog: Everybody Lies, Big Data, New Data and What the Internet Can Tell Us About Who We Really Are (Stephens-Davidowitz, 2017).

Årsagen til skævhederne er, at respondenterne i de traditionelle statistiske undersøgelser kan have et ønske om at fremstå positivt med socialt anerkendte vaner og holdninger, også selv om de loves fuld annonymitet. Derimod har de kun et svagt eller intet incitament til at sige sandheden. Ved informationssøgning på internettet er det omvendt. Her kan man kun få den information man søger, ved at være ærlig i sine søgetekster. Søger man f.eks. links til racistiske vittigheder er man nødt til at afsløre det i sine søgetekster. Stephens-Davidowitz’s pointe er, at man ved at analysere søgetekster kan få et mere realistisk indblik i udbredelse af kontroversielle holdninger og adfærd end det er muligt i traditionelle undersøgelser. Internettet kan på den måde fungere som sandhedsserum.

Rollen som sandhedsserum er en vigtig side af anvendelsen af søgeord som datakilde, men metoden er også anvendelig på områder, hvor respondenterne ikke har incitamenter til at lyve. Anvendelse af metoden kræver naturligvis, at der udvikles egnede analysemetoder, men den udvikling er i fuld gang, og Stephens-Davidowitz er selv en af de store bidragsydere. Han har bl.a. brugt metoden til undersøgelser af racismes indflydelse på Barack Obamas valgresultater , udbredelsen homoseksualitet, forskelle i opdragelsen af piger og drenge og årsager til depression.

Når vi (og Stephens-Davidowitz) taler om internetsøgning er det oftest Google-søgninger der tænkes på, og det er da også Google-søgninger, der er hovedgrundlaget for Stephens-Davidowitz’s undersøgelser. Og det datagrundlag stiller Google gratis til rådighed for alle i form af Google Trends. Grundlæggende er Google Trends meget simpelt at anvende. Man indtaster et søgeemne eller en søgesætning og får som svar en graf, der viser et indeks for udviklingen i emnets eller sætningens popularitet (andelen af samtlige søgninger) over en periode. Der ligger data tilbage til 2004. Google trends giver ikke baggrundsoplysninger om hvem, der har søgt, bortset fra en geografisk opdeling. En vigtig del af Dawidovitz’s metode består i at sammenholde søgeordsdata fra et geografisk område med data fra andre kilder om samme område.

Davidowitz finder flere styrker ved internettet, som gør det specielt i forhold til mere traditionelle datakilder, men muligheden for at få pålidelige data på sensible områder er den vigtigste. Og den styrke har intet med omfanget af data at gøre, så i den sammenhæng er betegnelsen big data misvisende. I tidligere indlæg (f.eks 19/5-2020 og 11/9-2020)  har jeg anvendt den mere sigende betegnelse organiske data, som er foreslået af Robert Groves — tidligere direktør for det amerikanske folketællingsbureau.

Referencer:
Seth Stephens-Davidowitz: “Everybody Lies — Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are”, Harper Collins Publ, 2017

Originale og fabrikerede datasæt

Når der i forbindelse med  officiel statistik tales om grunddata, tænkes der normalt på målte og registrerede værdier af en eller flere egenskaber ved et tællingsobjekt. Tællingsobjektet kan f.eks. være en person, og egenskaberne kan være køn og alder. Det er sådanne originale data, der er grundlaget for enhver pålidelig statistik. Den diamentrale modsætning til originale data er fabrikerede data, hvor man — eventuelt ved anvendelse af en tilfældighedsgenerator — danner datasæt, hvor objekterne er fiktive og de værdier der er knyttet til egenskaberne er tilfældige og på ingen måde afspejler virkeligheden. Fabrikerede data kan være nyttige under planlægningen af en statistik. De kan f.eks. gøre det muligt, i et vist omfang at teste programkoder tidligt i udviklingsprocessen, inden dataindsamlingen er sat i værk eller afsluttet.

Syntetiske datasæt

Et sted imellem originale og fabrikerede data finder man de syntetiske data. Her er de værdier der tillægges objekterne nok fabrikeret, men det er tilstræbt, at de fabrikerede værdier i en eller anden forstand afspejler virkeligheden. Objekterne i syntetiske data kan selv være syntetiske, men der kan også være tale om originale objekter, der blot tillægges syntetiske værdier for en eller flere egenskaber. Syntetiske data kan ligesom helt fabrikerede data være nyttige i forbindelse med aftestning af programkoder, men kan i nogle tilfælde også anvendes i forbindelse med aftestning af analyse- og målingsmetoder. Den ultimative anvendelse af syntetiske data er til forbedring  (berigelse) af et originalt datasæt.

ONS — UK’s nationale statistikmyndighed  — har i et arbejdspapir foreslået en klassifikation af syntetiske datasæt ( se oversigten nedenfor), der rangordner dem efter analytisk værdi og risiko for fortrolighedsbrud.. De to rangordninger er identiske — jo større analytisk værdi, jo større risiko for fortrolighedsbrud.

ONS’s rangordning af syntetiske datasæt

	Type	Analytisk værdi	Risiko for fortrolighedsbrud	Typisk anvendelse
Ordinære syntetiske datasæt	Strukturel	Ingen	Ingen	Grundlæggende testning af programkode
	Validt	Ingen	Minimal	Avanceret testning af programkode
Udvidede syntetiske datasæt	Univariabelt Plausibelt	Minimal	Betydelig	Udvidet testning af programkode
	Multivariabelt plausibelt	Nogen	Høj	Uddannelse og eksperimentel testning af metoder
	Mutivariabelt detaljeret	Nogen	Meget høj
	Replikeret (beriget)	Høj	Ekstrem	Erstatter originalt datasæt

Kilde: Office for National Statistics: “Synthetic data pilot”

Ordinære syntetiske datasæt

I ordinære syntetiske datasæt er variabelnavne og variabelformater (f.eks. tekst eller heltal) identiske med det originale datasæt. I strukturelle datasæt forekommer forekommer kun værdier af variablene, der også forekommer i det originale datasæt, men uden hensyn til at kombinationen af værdier for den enkelte datapost kan være umulig eller usandsynlig — f.eks gravide mænd eller gifte personer under to år. I valide datasæt er det derimod tilstræbt, at både værdierne og kombinationerne af værdier ar plausible. Endvidere tilstræbes det i valide datasæt at inddrage manglende værdier og fejl, hvis de forekommer i det originale datasæt.Der gøres derimod intet forsøg på at få fordelingerne af de indgående variable til at ligne det originale datasæt. 

Udvidede syntetiske datasæt

I udvidede syntetiske datasæt går man skridtet videre, således at datasættet ikke blot i formel struktur ligner det originale datasæt, men også afspejler dele af indholdet. I univariabelt plausible datasæt tilstræber man, at de marginale fordelinger af variablene er som i de originale data. I multivariabelt plausible datasæt tilstræber man yderligere, at også multivariable fordelinger i et vist omfang afspejler det originale datasæt.

I et replikeret (beriget) datasæt er al information i det originale datasæt bevaret, men yderligere information i form af imputerede data kan være tilføjet. Mangler f.eks. oplysning om en enkelt egenskab for et objekt i det originale datasæt, f.eks. størrelsen af indkomsten for en enkelt husholdning, kan man vælge at erstatte den manglende værdi med værdien fra en anden husholdning, der på de egenskaber, der findes oplysning om — f.eks erhverv, adresse, antal børn og alder på husholdningens medlemmer — ligner den ufuldstændige husholdning. Ved denne fremgangsmåde, kan syntetiske data øge værdien af det originale datasæt.

Referencer:
Office for National Statistics: “Synthetic data pilot”, ONS methodology working paper series number 16,  januar 2019 (link)