Å skape samfunnsverdi ved bruk av data og KI: Organisatoriske utfordringer og løsninger

I denne artikkelen gir vi en oversikt over hvordan Skatteetaten setter denne ambisjonen ut i livet. Vi presenterer vår tilnærming for å bygge og iverksette ML- og KI-modeller i stor skala i en tverrfaglig, kompleks og fragmentert setting, og tar med eksempler fra utvikling av modeller for Skatt Næring-området. Artikkelen vil belyse organisatoriske, tekniske og kapasitetsmessige utfordringer for utvikling av KI-baserte modeller og prosesser i Skatteetaten, og presenterer løsninger for å skape verdi i stor skala.

Utvikle KI og ML i stor skala: Organisatoriske eller tekniske utfordringer? 

Skatteetaten spiller en sentral rolle i det norske samfunnet, med et tydelig samfunnsoppdrag og ansvar for å finansiere velferdsstaten. Vi har også en stor strategisk ambisjon: “Vi skal bruke data, analyse og KI i stor skala i oppgaveløsningen”. Dette gir oss stort ansvar, noe som innebærer en plikt til å skape høyere verdi for norske statsborgere ved ansvarlig bruk av data, beste teknologi og metoder.

Vi er i gang med å utvikle KI- og ML-modeller og løsninger (KI-modeller) for å effektivisere interne og eksterne prosesser, men det er noen utfordringer som treffer de fleste offentlige virksomheter. Skatteetaten opererer innenfor en byråkratisk ramme med regelverk, prosesser og fragmentert oppgavestruktur. Oppgaver blir ofte utført i mindre grupper som følge av ulike regelverk, selv om det fra data- og KI-perspektivet finnes mange fellestrekk i oppgaveutføringen som kunne ha blitt utnyttet bedre.

Dette skaper utfordringer med effektiv koordinering, integrasjon av systemer, prosesser, og deling av data på tvers av avdelinger. Som flere offentlige virksomheter, har også Skatteetaten ressursutfordringer, spesielt når det gjelder å rekruttere og beholde høyt kvalifisert personell innenfor teknologi og kunstig intelligens. Konkurransen med private aktører gjør det vanskelig å tilby konkurransedyktige vilkår, og det kreves derfor strategiske grep for å sikre riktig kompetanse.

I denne artikkelen svarer vi på et kritisk spørsmål som kanskje er gyldig for mange store, offentlige virksomheter: Hvordan utvikler vi storskala KI-løsninger, gitt den fragmenterte oppgavestrukturen og det juridiske rammeverket vi opererer i?  Vi forklarer tiltakene og prinsippene som vi bruker for å adressere utfordringene i resten av artikkelen.

Fra KI-modellutvikling til storskala verdiskaping

En overordnet strategi og prinsipper for data og KI legger føringer for hvordan teknologien kan understøtte skatteetatens samfunnsoppdrag, samtidig som det er nødvendig å ha mekanismer for å sikre operasjonalisering av strategien i praksis. For å levere verdi i stor skala er det ikke tilstrekkelig å utvikle enkeltstående KI-modeller for prediksjon eller språkforståelse. Det er avgjørende at løsningene blir integrert i arbeidsprosesser, produkter og systemer slik at de skaper en reell effekt. Dette krever en helhetlig tilnærming der både teknologi, organisasjon og prosessutvikling sees i sammenheng. Vi har identifisert fire hovedelementer som skal hjelpe virksomheten til å skape verdi og realisere den strategiske ambisjonen:

• Produktorientering, eierskap og ansvar
• Et kompetansesenter som bindeledd i organisasjonen
• En tydelig strategi og plan for data og KI
• Disiplin under prosjektgjennomføring

Produktorientering, eierskap og ansvar

Det er avgjørende at eierskapet til KI-initiativer ligger i de avdelingene og produktdomener der oppgaveløsning skjer. Det er typisk et produktteam, eller et team som har ansvar for en komplisert prosess, som har den dypeste forståelsen for sine egne behov, muligheter og regelverk. De tverrfaglige produktteamene bør også ha ansvar for de KI-løsningene som de bruker. Det er disse teamene som til syvende og sist skal realisere verdien.

En ferdig utviklet KI-løsning skaper verdi i et større produkt, for eksempel Skattemeldingen. KI-løsningen kan automatisere prosesser (Eks: KI-assistert produksjon av skattemelding) eller hjelpe saksbehandlere til å ta bedre beslutninger der de trenger å vurdere store mengder av informasjon fra mange ulike kilder. Eksempel på dette kan være KI-assistert utplukk og kontroll av skattepliktige gjennom prediksjons- og språkmodeller. Løsningene bør være oppdatert, relevant, verdiskapende og gi rettferdige resultater (Se Skatteetatens KI Policy for detaljer). Det er også et sterkt behov for at datakilder og dataprodukter som KI-systemene bruker er pålitelige og oppdaterte, og har tydelig eierskap.

Likevel er det noen utfordringer med dette. Ikke alle team har tilgang til nøkkelressurser til å identifisere muligheter der KI kan skape verdi i sine egne domener. De har heller ikke ressurser til å utvikle og iverksette KI-løsninger, eller å forvalte disse. Den gode nyheten er at det er mange fellestrekk i problemstillingene som vi prøver å løse på tvers av etaten. Det betyr at vi kan utvikle og forvalte mange felles gjenbrukbare komponenter som vi skal bruke for å utvikle og forvalte KI-modeller. Vi tenker da på komponenter som analyseklare dataprodukter, algoritmer eller prosesser. Vi kan dermed utvikle kompetanse i ett domene og dele den med andre.

Et kompetansesenter som bindeledd i organisasjonen

For å organisere arbeidet på tvers av domener kan en "Hub & Spoke"-tilnærming være en effektiv metode. Et sentralt kompetansesenter (Hub) utvikler metodikk, verktøy og retningslinjer, mens de operative produktområdene (Spokes) har ansvar for implementering, bruk og verdiskaping i praksis. I Skatteetaten har vi etablert Data Science Kompetansesenter (DSKS) som vår «Hub». Hovedfunksjonene til DSKS er:

• Faglig støtte: Tilby metodikk, beste praksis og veiledning for utvikling av KI-modeller i produktdomener.
• Forankring: Bidra til at initiativer forankres i de avdelingene som skal realisere verdien.
• Koordinasjon: Sørge for at ulike KI- modelleringsinitiativer er koordinert på tvers av divisjoner og vi utnytter stordriftsfordeler.
• Data og metodedeling: Legge til rette for bruk av tilrettelagte, felles og storskala datasett, noe som sikrer gjenbruk av dataressurser, og etablering av sammenhengende løsninger.

DSKS framskynder utviklingen av KI-modeller, og fungerer som en inkubator som støtter divisjonene i tidlige faser av modellutviklingen. Senteret fungerer også som et bindeledd mellom ulike deler av organisasjonen.

Et konkret eksempel på hva DSKS bidrar med er i prosjekter i Skatt Næring. Flere divisjoner har behov for prediksjonsmodeller innenfor domenet. På den ene siden trenger Divisjon Brukerdialog følgende løsninger: Predikere sen levering av skattemeldingen, finne risikobaserte kontrollkandidater i førstelinjen, oppdage bedrifter som ikke har økonomisk aktivitet, og fastsette skattebeløp for bedrifter som ikke leverer skattemeldingen. På den andre siden trenger Divisjon Innsats å avsløre bedrifter som har høy sannsynlighet for skatteunndragelse i ulike segmenter, mens Divisjon Innkreving ønsker å predikere insolvente bedrifter.

Selv om problemstillingene som divisjonene prøver å løse er ulike, er grunnlaget felles: De trenger de samme underliggende data, de trenger felles kompetanse for prediksjonsmodeller i Skatt Næring, og de trenger like prosesser for å ta modellene i bruk. DSKS jobber på tvers av divisjonene for å identifisere ulike muligheter, finne felles løsninger og dele metodisk kunnskap på tvers (Se også "Identifisering av forretningsbehov"). Vi har utviklet et stort datagrunnlag, produsert metoder og algoritmer som kan bli brukt av ulike domener, og har løst noen konkrete juridiske problemstillinger for å utløse kraften i samarbeid. Bildet nedenfor viser hvordan vi bør jobbe sammen!

En tydelig strategi og plan for data og KI

En veldefinert data- og KI-strategi er nødvendig for å sikre at investeringer i teknologi gir ønsket effekt. I Skatteetaten adresserer vi følgende spørsmål for å skape verdi for samfunnet gjennom DSKS og samarbeid på tvers:

• Hvilke KI-modeller skal gi verdi? Vi trenger å ha tydelige mål og prioriteringer når det gjelder utvikling av ulike modeller og løsninger. Til dette formålet samler vi inn behov på tvers av ulike produktdomener gjennom en analyseplanprosess. Vi planlegger og prioriterer utvikling av storskala KI-initiativer basert på to nøkkelprinsipper. Først og fremst følger vi etatens strategiske satsingsområder. KI-initiativer bør ha samsvar med den overordnede strategien som prioriterer helhetlig brukeropplevelse og effektive kontrollprosesser. For det andre analyserer vi spesielt behovet fra produktdomener for å skissere en langsiktig plan. Vi legger vekt på at prosjekter som er prioritert henger sammen, og gir mulighet til utvikling av felles, analyseklare og gjenbrukbare datakilder og algoritmer på tvers av produktdomener. Denne prosessen etablerer grunnlaget for å ha en plan som samsvarer med etatens langsiktige mål, produktorientering og gir stordriftsfordeler. Vi har eksemplifisert dette i sammenheng med etablering av prosjekter i Skatt Næring ovenfor.
• Hvordan sikrer vi at KI-løsninger faktisk gir verdi? Vi kontrollerer KI-løsningene for relevans, verdi og ressursbruk. Dataanalyseteamet har initiert et gevinstrealiseringsprosjekt som utfordrer alle team til å beregne verdien og følge opp kostnadene relatert til utvikling, forvaltning og faktisk bruk av KI-løsninger. Dette gir gjennomsiktighet og sporbarhet innen KI-produktutvikling og forvaltningsprosesser.
• Hvordan skal vi etablere KI og datadrevne beslutningsprosesser? Vi jobber med å utvikle rutiner for å ta KI-baserte modeller i bruk i våre produktdomener, som skattemeldingen er et eksempel på. Når vi integrerer KI-løsninger i relevante fagsystemer, jobber vi sammen med produkteiere og brukere i team. Det er en gjensidig og smidig prosess: Team som utvikler og implementerer KI-løsningen hjelper saksbehandlerne slik at løsningen blir tatt i bruk i saksbehandling og beslutningstakingsprosesser. På den andre siden gir brukerne fortløpende tilbakemelding om gyldighet, verdi og relevansen av løsningen, noe som er viktig for smidig utvikling og utrulling av bedre versjoner av KI-løsningene som vi skaper.
• Hvordan skal vi utvikle og beholde kompetanse? Vi satser på kompetanseutvikling av våre data scientister og prosjektledere gjennom kunnskapsdeling, data science fagnettverk og kurs om vår data- og analyseplattform. Vi prøver også å rekruttere og beholde de beste hodene.
• Hvordan skal vi forvalte modeller og KI-systemer? Vi har en KI-policy i Skatteetaten som gir overordnet retning for etisk og ansvarlig bruk av modeller. Dette, sammen med juridiske prosesser, sørger for at løsningene vi produserer ikke bryter skattyternes rettigheter, og at vi sikrer likebehandling. DSKS har også utviklet et «modellkort» som standardiserer KI-modellforvaltningsprosesser og sikrer ansvarlig bruk av KI. Modellkortet er et skjema som fungerer som en slags sjekkliste for å hjelpe modellteamene med å vurdere flere ulike aspekter av modellen som utvikles.

Prosjektgjennomføring med disiplin

I et kjent sitat sier Eisenhower: "Plans are useless, but planning is indispensable". Noe av det samme gjelder også slike prosjekter. Det er essensielt å legge en god plan. Verdiskapning må være kjernen av planen for et KI-prosjekt, og resten av prosjektplanleggingen må dreie seg om det å skape verdi. Samtidig er selve planen ikke alltid gjennomførbar. Dette skyldes gjerne manglende data eller lav datakvalitet, eller kanskje fordi selve spørsmålet prosjektet ønsker å besvare ikke er det riktige spørsmålet for en KI-modell. Men én ting alle prosjekter har til felles er at man må ha disiplin til å utføre planen, og ydmykhet til eventuelt å endre planen underveis, for å tilpasse seg endrede forhold, forutsetninger eller muligheter. Planlegging, tilpasning, og oppfølging av prosjektplanen er noe DSKS hjelper divisjonene med.

Produksjonssetting av modeller i Skatteetaten

Vi skal nå detaljere litt mer i praksis hvordan etaten jobber med å utvikle og iverksette KI-modeller. Vi går gjennom hele kjeden fra idé til produksjonssetting, og uthever hva som er viktig å tenke på under utvikling.

Identifisering av forretningsbehov

Identifisering av forretningsbehov er den mest sentrale delen av å starte et prosjekt. For at et prosjekt skal lykkes må det skape verdi som samsvarer med virksomhetens mål og strategi. Dette gjelder spesielt i en organisasjon i offentlig sektor, som bruker offentlige midler og har evne til å påvirke hele landet. Mens vi utvikler våre prosjekter, må vi også evaluere verdien fra et perspektiv om stordriftsfordeler. For å sikre verdiskapning i et utviklingsprosjekt og optimalisere ressursbruken er det fordelaktig å først identifisere områder og prioriteringer som omfatter flere forretningsbehov og som har fellesnevnere. På den måten kan man etablere modellfamilier, hvor målet for hver modell vil være forskjellig, men der den underliggende dataflyten, strukturen og arkitekturen er felles. Etablering av modellfamilier bygget på de samme grunnleggende dataene øker effektivitet ved å gjenbruke stadiene med datarensing, formatering og kvalitetskontroller som er felles for modellene.

La oss som et eksempel si at vi utvikler en modell som vurderer om en bedrift er insolvent eller ikke. Basert på tilgjengelige data vurderer modellen om en bedrift har evne til å betale gjelden som har forfalt. På samme datagrunnlag som brukes for insolvensmodellen kan man også enkelt bygge en modell for å oppdage skattesvindel. Det å gå fra implementeringer av enkeltmodeller til et program av modeller fungerer som en multiplikator for effektivitet; jo flere modeller i samme familie, desto høyere effektivitet i utviklingen.

Prosjektstyring og oppgavefordeling

For å styre modellfamilier har en prosjektleder ansvar for hele programmet, med oversikt over tett sammenkoblede modeller. Der det er nødvendig setter vi inn en teamleder for enkelte modellteam. Dette gir mulighet til å dele oppgavene mellom overordnet prosess og oppfyllelse av forretningsbehov (prosjektleder) og daglige oppgaver og ledelse av utviklingsgruppen (teamleder).

Juridiske og etiske vurderinger

Det er viktig av modellteamene og prosjektene følger etatens KI-policy. Skatteetatens KI-policy er offentlig og tilgjengelig her: Policy for databruk. Vi er opptatt av å følge både norsk skatterett og gjeldende personvernlovgivning. Dette sikrer ikke bare samsvar med reglene og kravene til bruk av KI i en offentlig organisasjon, men også at innbyggerne kan stole på at vi bruker deres data på en korrekt og ansvarlig måte. I vår KI-policy tar vi opp nøkkelspørsmål som åpenhet, rettferdighet og ansvar for våre data og modeller. Hos Skatteetaten kommer sikkerhet og individuelle rettigheter som personvern foran alt.

Verdianalyse

Så snart informasjonen fra en modell blir tilgjengelig, er det avgjørende å utføre en kvantitativ analyse av verdien prosjektet utløser. I vårt eksempel på insolvens bør vi stille spørsmål som: "Hva om vi kunne ha reddet 10% av totalen av gjeld som forsvant i konkurs og avviklinger, hvor mange millioner ville staten ikke ha tapt?". En grundig verdianalyse er nødvendig ikke bare for å oppdage og korrigere mulige fallgruver i prosjektet, men også for å kommunisere prosjektets betydning til ledelsen, og dermed sikre fortsettelsen av prosjekter som har god effekt. Det er enda bedre om verdianalysen utføres allerede før utviklingen av modellen begynner, for å estimere potensialverdien av modellen og den tiltenkte bruken. På den måten kan vi følge opp estimeringen underveis i utviklingen, og gjøre nye verdianalyser for å bekrefte forventningene eller avdekke ny innsikt.

Tilgang til data

Tilgang til data er selvfølgelig grunnleggende når man bruker maskinlæring eller utfører noen form for dataanalyse. Skatteetaten har tatt i bruk en data mesh-infrastruktur, hvor data skal samles inn og administreres av den avdelingen, gruppen eller enheten der data hører til. Selv om dette medfører noen utfordringer — hovedsakelig med hensyn til delt ansvar og eierskap — gir det også bedre tilgang til og kontroll over data enn en sentralisert løsning ville ha gjort, spesielt i en stor organisasjon. Det sikrer at dataene administreres på samme sted som de produseres, det vil si av de som kjenner dataene best. De interne dataeierne utvikler og administrerer det som kalles dataprodukter: Komponenter med både data og metadata. Dataproduktene legges deretter i en katalog med tilgjengelige produkter. De gjøres tilgjengelige for resten av organisasjonen via en tilgangsstyringsmekanisme. Dette sørger for datasikkerhet og trygghet.

Fra tidlig undersøkelse…

Utviklingen av KI-modeller begynner i et analysemiljø. Dette er et miljø med tilgang til dataprodukter, men hvor man ikke har tilgang til produksjonsaktive systemer. En viktig fase er å teste hvilke funksjoner som er sentrale for utviklingen av modellene, og evaluere hvilken informasjon som er nødvendig å inkludere i modelleringen. Det er vårt fokus å bruke så få variabler i våre modeller som mulig. Det er en tilnærming som ivaretar personvern og bidrar til å kontrollere ytelse og eventuelt redusere uønskede skjevheter. Det legger også grunnlaget for senere bruk av Explainable AI-teknikker (XAI). Dette er teknikker som brukes for å få innsikt, og forklare hvorfor en KI-modell har tatt den beslutningen eller kommet frem til det resultatet.

…til produksjon

Våre produksjonsmiljøer er bygget på samme IT-plattform som analysemiljøene, med tilleggstjenester som automatisering og systembrukere. Dette åpner for automatiske kontroller på dataene, fjerning av sensitiv informasjon, og en høy grad av sikkerhet. Selv om Skatteetaten har satt flere modeller i produksjon de siste årene, og er en av de mest digitaliserte offentlige institusjonene i Europa, er vi fortsatt relativt tidlig i vår reise. Vår ambisjon "Vi skal bruke data, analyse og KI i stor skala i oppgaveløsningen" ble offisielt vedtatt for bare et par år siden. Siden da har vi gjort enorme fremskritt, men mye gjenstår fortsatt.

Et av de viktigste hindrene for å få tatt KI-modeller i bruk er mangelen på etablerte rutiner for å koble modeller til saksbehandlingssystemer. Slike rutiner er avgjørende for å muliggjøre bruk av modeller og data i stor skala, og vi jobber intensivt med å etablere disse. Ulike utfordringer må adresseres. For det første må de juridiske aspektene ved sikkerhet, personvern og korrekt databruk sikres i arkitektur og i produksjon. Dette betyr blant annet å etablere rutiner for hvordan modeller kan brukes av saksbehandlerne. For det andre må teknisk infrastruktur på plass slik at modellene kan kommunisere med forskjellige fagsystemer. Dette er en utfordring siden disse systemene i utgangspunktet ikke er skapt for å samhandle med hverandre. Lover om databeskyttelse og rett til bruk av data legger føringer for deling av data på tvers. Et felles grensesnitt for disse systemene mangler, og hver enkelt modell må tilpasses for å kommunisere med det spesifikke fagsystemet den trenger å levere resultatene til. Denne prosessen er tidkrevende. Imidlertid er dette arbeidet en viktig investering for å sikre høy etterlevelse og for å gi innbyggerne enda bedre tjenester.

Modellene som Skatteetaten har satt i produksjon så langt har gitt store gevinster i form av økt brukertilfredshet og brukervennlighet av våre produkter, og i tillegg bedre etterlevelse. For eksempel har modellen som estimerer beløpene som skal oppgis i skattemeldingen gjort livet enklere for alle skattytere. Nå er det tilstrekkelig å sjekke at beløpene er korrekte, og eventuelt endre der det er nødvendig. Dette sparer mye tid, krefter og penger for skattyterne, og reduserer risikoen for utilsiktet feilaktig innlevert skattemelding. Dermed øker skatteetterlevelsen.