Et av Skatteetatens hovedmål er å sikre brukere tilgang til registerdata og informasjon med god kvalitet. Ett av registrene dette gjelder er Arbeidsgiver- og arbeidstakerregisteret (Aa-registeret), som eies av NAV. Skatteetaten henter opplysninger til A-meldinga fra Aa-registeret, blant annet om frilansere. God registerkvalitet forutsetter at de opplysningspliktige rapporterer riktig og til rett tid, men det har vært utført få studier av om de faktisk gjør det. Det gjelder spesielt frilansere, samtidig som fagmiljøene mistenker omfanget av feilregistrering å være høyt for denne gruppen.

Når de opplysningspliktige ikke setter riktig sluttdato til rett tid for et frilans arbeidsforhold, og omfanget av dette er omfattende, skaper det problemer med å bruke registeret blant annet til effektiviseringsformål. Frilansere er definert som personer som mottar lønn eller honorar uten å være i et ansettelsesforhold, og de er dermed å betrakte som lønnsmottakere. Frilansere har derfor krav på foreldrepenger, som er et område der NAV ønsker å automatisere saksbehandlingen. Tilsvarende er det for obligatorisk tjenestepensjon (OTP), der det er viktig at det blir satt riktig sluttdato. Automatisering av saksbehandling krever registre med et minstekrav til kvalitet, og med for dårlig kvalitet, blir det langt vanskeligere å realisere det automatiseringsgevinstene.

Registeret brukes også av Arbeidstilsynet når de fører tilsyn med lønns- og arbeidsvilkår. Da er gode grunnlagsdata viktig for effektive og målrettede tilsyn. I noen tilfeller benyttes registeret også av politiet, og det brukes i noen grad til forskningsformål.

Et mye benyttet tiltak for å forbedre registerkvalitet er å sende ut brev for å minne opplysningspliktige om ansvaret de har for å levere korrekte opplysninger. Men det er i liten grad gjennomført grundige effektmålinger av verken dette tiltaket, eller av alternative tiltak. Skatteetaten ønsket derfor å måle effekten av telefonhenvendelser og brevutsendelser, for å finne ut om telefonhenvendelser kan være et bedre tiltak enn de ordinære brevutsendelsene.

Data, metode og eksperimentdesign

Målgruppen for effektanalysen er opplysningspliktige virksomheter med frilansere som er registrert i Aa-registeret, men uten å ha registrert inntekt i perioden fra og med august 2020 til og med februar 2022. Uttrekket av målgruppen ble gjennomført 9. mars 2022. Det betyr at de registrerte frilansere hos virksomhetene i målgruppen, har vært registrert i en lang periode uten at det er registrert inntekt. En så lang periode uten registrert inntekt gjør at NAV og Skatteetaten antar at de opplysningspliktige virksomhetene ikke har satt sluttdato for alle arbeidsforholdene, selv om de reelt sett er avsluttet. Inntekt er vidt definert og omfatter alle inntekter og godtgjørelser fra en opplysningspliktig virksomhet. Vi omtaler i fortsettelsen frilansere som oppfyller disse definisjonene, som antatt feilregistrerte frilansere.

Målgruppen besto i hovedsak av små, opplysningspliktige virksomheter med én eller to antatt feilregistrerte frilansere, og et mindre antall store aktører med 1000 eller flere. For å få et effektivt utvalg og for å unngå problemer med ekstremverdier, er utvalget stratifisert med en overvekt mot virksomheter med mange antatt feilregistrerte frilansere,1 og informasjon om antall frilansere er winsorisert i forkant av analysen.

I eksperimentet delte vi et randomisert utvalg av målgruppen inn i tre grupper: Én gruppe med 1000 opplysningspliktige virksomheter som fikk tilsendt et påminnelsesbrev og én gruppe med 1000 som ble oppringt. De resterende 4096 virksomhetene ble brukt som referansegruppe. 

Randomisert utvalg
Ved effektmålinger stilles vi ovenfor en utfordring når det gjelder valg av metode fordi det vi egentlig er ute etter er å sammenligne to gjensidig utelukkende tilstander: Én der målgruppen ble tilordnet et tiltak og en annen der samme gruppe ikke ble tilordnet tiltak. Det finnes ulike tilnærminger til hvordan man kan løse dette problemet, men i de tilfeller der det er mulig, regnes felteksperimenter med tilfeldig utvalg fra målgruppen, i en tiltaks- og referansegruppe, som beste alternativ. Referansegruppen vil da fungere som en kontrast ved måling av effekt av tiltak, fordi den tilfeldige tilordningen sørger for at det ikke er systematiske forskjeller i observerbare og ikke-observerbare egenskaper mellom tiltaksgruppen og referansegruppen før tiltak er gjennomført.

Brevene ble sendt digitalt med en vedlagt liste over antatt feilregistrerte frilansere i virksomheten, mens oppringningene ble gjennomført parallelt av ansatte i Skatteetaten og NAV. Av de 1000 oppringte virksomhetene besvarte 670 henvendelsen, mens det ikke ble registrert om det tilsendte brevet ble åpnet eller ikke.

Effekten av tiltakene identifiseres ved å sammenligne den gjennomsnittlige endringen i antall antatt feilregistrerte frilansere over en periode på 5 måneder i de to tiltaksgruppene, med den gjennomsnittlige endringen i referansegruppen for samme periode. I forbindelse med telefonoppringningene ble det også registrert estimert tidsbruk per virksomhet, noe som dannet grunnlaget i en nytte-kostnadsanalyse av telefontiltaket.

Begge tiltak gir god effekt, men brev er best

Figur 2 viser gangen i eksperimentet. Siden vi trakk opplysningspliktige virksomheter tilfeldig til de to tiltakene, innebærer det at tiltakene er statistisk uavhengige, og vi kan derfor estimere effekter av tiltakene hver for seg.

For de opplysningspliktige som mottok en telefonhenvendelse, fikk vi oversikt over hvem som besvarte telefonen. For de opplysningspliktige som mottok brev, fikk vi derimot ikke oversikt over hvem som åpnet brevet eller ikke. For å kunne sammenligne effektene mellom tiltakene, har vi derfor valgt å ikke ta hensyn til om de opplysningspliktige besvarte telefonen eller ikke. Dette gir oss samtidig de mest realistiske estimatene på forventede kostnader for gjennomføringen av hvert tiltak, fordi det ofte er vanskelig å vite hvor mange brukere som kommer til å respondere i forkant.

Figur 2 Årsaksskjemaet for effektmålingen viser hvordan et tilfeldig utvalg deler de opplysningspliktige inn i to uavhengige tiltak, som igjen påvirker registerkvaliteten. «Åpnet brev» er stiplet for å indikere at dette steget ikke er observert.

For å nyansere analyseresultatene, har vi likevel valgt å inkludere effektmålingen for dem som responderte på telefonhenvendelsene. Det er viktig å understreke at disse resultatene ikke kan brukes som sammenligningsgrunnlag for brevtiltaket. De kan derimot brukes til å vurdere tiltak for å bedre responsraten på telefonoppringninger. Da vil man typisk veie merinnsatsen opp mot den økte effekten ved at flere virksomheter svarer.

Resultatene er illustrert i figur 3 og tabell 1. Figur 3 viser endringen i gjennomsnittlig antall antatt feilregistrerte frilansere. Vi ser at virksomheter i begge tiltaksgruppper hadde en markant større nedgang sammenlignet med virksomheter i referansegruppen. Når vi likevel ser en svak nedgang hos referansegruppen, er det uttrykk for slettinger knyttet til virksomhetenes normale drift og dermed uavhengig av de to tiltakene.

Resultatene i Tabell 1 viser den faktiske effekten målt som endringer hos tiltaksgruppene utover det som ble observert hos referansegruppen. Her har vi også tatt høyde for ekstremverdier og at store virksomheter er overrepresentert i utvalget.

Den røde kolonnen viser effekten for gruppen som fikk brev, mens de blå kolonnene viser effekten for gruppen som ble oppringt. Den øverste raden viser effektstørrelsene målt i gjennomsnittlig endring i antall antatt feilregistrerte frilansere, mens den nederste raden viser samme endring uttrykt i prosent. Vi mener at disse to estimatene til sammen gir en mer intuitiv forståelse av effektstørrelsene, når opplysningspliktige har en så stor spredning i størrelse.

Resultatet viser at begge tiltak førte til en nedgang i antall feilregistrerte frilansere. Effekten for de som fikk brev, en nedgang på 43,9 prosent, var noe større enn de som ble oppringt, en nedgang på 34,2 prosent. Denne effektforskjellen mellom tiltakene var også statistisk signifikant på 5%-nivået.

Ser vi på de virksomhetene som faktiske besvarte telefonhenvendelsen, finner vi at effekten er sterkere for disse. Det vil derfor være nærliggende å tro at et tilsvarende resultat hadde vært observert for virksomhetene som ble tilsendt brev og som faktisk åpnet brevene.

Mange opplysningspliktige har respondert på tiltakene ved å slette samtlige av sine registrerte frilansere i løpet av tiltaksperioden. Med andre ord er det en viss støtte for antakelsen om at frilanserne i stor grad var feilregistrert i målgruppen . Et fåtall har hatt en økning i antall frilansere i tiltaksperioden, men disse er jevnt fordelt mellom tiltaks- og referansegruppen, og vi antar dermed at disse har oppstått uavhengig av eksperimentet.

Brevtiltak for alle, men også telefontiltak for enkelte

Når vi vurderer tiltak, bør vi, der det er mulig, gjennomføre en nytte-kostnadsanalyse som sammenlikner tiltaksalternativene. Analysen over indikerer at vi i gjennomsnitt oppnår en større effekt ved brevforsendelser enn ved telefonoppringninger. I tillegg vet vi at oppringningene la beslag på cirka 140 timeverk totalt, fordelt på saksbehandlere hos Skatteetaten og NAV. Brevforsendelser blir dermed det beste alternativet av de to, fordi brev krever langt mindre ressurser.

Det kan tenkes at det er mulig å oppnå en forsterket effekt ved å kombinere de to tiltakene – både sende brev og ringe. Hvis vi tar utgangspunkt i en situasjon der det sendes brev til samtlige opplysningspliktige, vil beslutningen om å ringe i tillegg avhenge av om den forventede mernytten overgår den forventede merkostnaden. Dette forutsetter at brev og telefonoppringninger har en komplementær effekt på etterlevelsen.

Vi mener det er nyttig for fremtidige effektmålinger å inkludere en grundig kartlegging – og om mulig en kvantifisering – av den forventede nytten av tiltakene, slik at et eventuelt beslutningsgrunnlag blir så komplett som mulig. For denne analysen kunne det vært å anslå gevinster av automatisert saksbehandling hos NAV, eller verdien av å oppnå et av Skatteetatens strategiske hovedmål – å forvalte informasjonen vår slik at den bidrar til forenkling og digitalisering.

Å måle effekter av ulike tiltak der hele eller deler av målgruppen er trukket tilfeldig og tilordnet i en tiltaksgruppe og en referansegruppe, gir en høy grad av sikkerhet ved resultatene. Det er en slik tilnærming vi beskriver i denne artikkelen. Det er likevel viktig å understreke at studien kun gir et øyeblikksbilde av tiltakseffektene. For å sikre oss et godt beslutningsgrunnlag, også på sikt, er vi avhengig av å gjøre slike effektmålinger med en viss hyppighet, og som et adaptivt opplegg. I et adaptivt opplegg lærer vi fra hvert eksperiment og bruker lærdommen til å justere tiltakene før vi gjør nye målinger.