Etablert analyseplattform som automatiserer og effektiviserer data

Utfordringen

Da Fagforbundet utarbeidet sin digitaliseringsstrategi ble det avdekket et behov for bedre tilgang til data, rapporter og analyse. Den eksisterende løsningen var preget av manuelle prosesser for innhenting, aggregering og deling av data og rapporter. Det var tidskrevende å samle et datagrunnlag for viktige beslutninger, som økte risiko for at beslutninger ble tatt basert på utdaterte eller feil informasjon. 

Det ble derfor besluttet å etablere en analyseplattform for å gi sluttbrukere i Fagforbundet raskt tilgang til oppdaterte data med gode kvalitet. Plattformen skulle tilrettelegge for automatisk uthenting, lagring og transformasjon av data for analyse og rapporter til sluttbruker. 

Den første utfordringen analyseplattform skulle løse var å tilgjengeliggjøre et verktøy for å analysere medlemsmassen. Dette skulle hjelpe verveansvarlig med å holde oversikt over medlemstall over hele landet, for å sikre at organisasjonen ikke mister medlemmer, og fortsette å vokse innen geografiske områder og yrker. 

Løsningen

Proof of Concept
Arbeidet begynte med et Proof of Concept for å demonstrere at Power BI kunne tilfredstille Fagforbundets behov for analyse og rapportering. Innspill og innsikt fra denne prosessen ble samlet i en sluttrapport, som dannet utgangspunkt for videre arbeid.

Kartlegging av behov og design
Et tverrfaglig team fra Bouvet jobbet med Fagforbundet for å kartlegge funksjonelle og ikke-funksjonelle krav og definere en teknisk arkitektur for analyseplattform. Alt basert på Microsoft Azure Analytics og Power BI. Krav og innsikt ble samlet gjennom intervjuer og workshops med Fagforbundet, i tillegg til innspillene fra Proof of Concept.

Det ble også gjennomført en Data Protection Impact Assessment (DPIA) for å vurdere personvernkonsekvenser knyttet til medlemsregisteret for å sikre at personvernet til Fagforbundets sine medlemmer ble ivaretatt. 

Implementering av analyseplattform 
Analyseplattform ble implementert basert på Azure Synapse Analytics, der følgende komponenter leverte kjernefunksjonalitet:

• Pipelines - Integrasjon og ETL mot fagsystemer og andre datakilder
• Azure Data Lake - SQL basert lagring og opphenting av masterdata i columnar data format
• Spark - Transformasjon og analyse av data 

Et datakatalogen ble etablert i Azure Purview. Den kartlegger data assets, inklusiv alle datakilder og konsumenter. Datakatalogen inneholder også en begrepskatalog som beskriver definisjoner av alle begrep som er brukt i analyseplattformen.

Analyseplattformen er bygget ved bruk av Infrastructure as Code og Terraform. Endringer i analyseplattformens infrastruktur er dokumentert gjennom versjonkontroll i Azure DevOps. 

Rapportering medlemsmassen
Medlemsmassen ble importert ved å trekke ut nøkkeldata fra kildemedlemskapsregisteret, en lokal Oracle-database. Dataene ble overført ved hjelp av en Self Hosted Integration Runtime og importert til en stjerneskjemadatamodell i Azure Synapse. 

Prinsipper for dataminimisering, pseudoanonymisering og aggregering ble brukt for å sikre personvern og samsvar med Data Protection Impact Assessment (DPIA) som avtalt med fagforbundet.

PowerBI for distribusjon, rapportering og analyse
Et sett med predefinert dashboards ble utviklet i PowerBI for å analysere og rapportere om medlemsmassen, inkl. innmeldinger og utmeldinger. Disse rapporter ga mulighet for å drille ned og filtrere for å understøtte forskjellige behov blant brukere. Flere runder med brukertesting ble gjennomført for å bekrefte at dashboards understøttet brukerbehovene.

Utvikle forvaltningsmodell og forankring  av løsningen i organisasjonen  
I parallel med utvikling av den tekniske løsningen har teamet også utviklet en forvaltningsmodell for analyseplattformen. Denne forvaltningsmodellen omfatter og sikrer riktig eierskap, organisering og prosesser knyttet til analyseplattformen. Forvaltningsmodellen har delvis skilt ut eierskap for teknologi fra eierskap for data. Modellen er inspirert av ideer bak Data Mesh, men er tilpasset Fagforbundets behov, ressurser og modenhetsgrad. Teknisk plattformteam tar seg av innlastning og lagring av data, og analyseteam styrer transformasjon og anvendelse av data selv. Dette sikrer at dataeierskap plasseres i organisasjonen der det skaper mest verdi, muligheten for rask gevinstrealisering er størst, og at forankring og bruk av løsningen spres på en best mulig måte. 

Fagforbundet sine ressurser har fått opplæring innen Power BI gjennom Bouvet sin kursavdeling.

Verdi for kunden

Fagforbundet har fått:


• En fremtidsrettet sky-basert analyseplattform som automatisere og effektivisere innhenting, bearbeiding og tilgjengeliggjøring av data
• Mekanismer for evaluering risikoer rundt personvern (DPIA), samt metoder for å adressere disse risikoer (dataminimisering og pseudonymisering)
• Et nytt og forbedret beslutningsgrunnlag for medlemsutvikling som kan brukes for å målrette, tilpasse og evaluere tiltak rundt verving av nye medlemmer (f.eks. rekrytteringskampanjer)
• PowerBI dashboards for vising og filtrering av data fra medlemsregistreet
• Opplæring i PowerBI for å gjøre Fagforbundets ansatte i stand til å gjøre egne analyser
• Forbedring i kvaliteten på dataen som benyttes som beslutningsgrunnlag

Videre arbeid inkluderer:

• Å legge til rette for selvbetjent rapporter og analyser i PowerBI, der anonymisert data fra analyseplattform tilgjengeliggjøres gjennom PowerBI Dataflows
• En Tariffregister som viser antall medlemmer per Tariffavtale
• Koble til flere kilder som skal serve analysebehov utover rapportering på medlemsmassen.  
• Etablere organisasjonsstruktur som støtter det å bli datadrevet.