Med personvern og informasjonssikkerhet i sentrum har vi bistått Norges domstoler v/Domstoladministrasjonen (DA) med å innføre generativ kunstig (KI) intelligens som støtteverktøy i arbeidshverdagen.
Utfordringen
DA ønsket å utforske hvordan generativ kunstig intelligens kan skape verdi i arbeidshverdagen til medarbeidere i Norges domstoler.
I tillegg ønsket de mer informasjon om teknologien kunne implementeres på en trygg og sikker måte.
Et viktig hensyn var å redusere bruken av åpne, eksterne KI-løsninger blant ansatte. Slike løsninger tilfredsstiller ofte ikke kravene til sikker håndtering av interne data og data lastet opp blir del av treningsgrunnlaget til de underliggende modellene. Videre var det et viktig mål å styrke organisasjonens kompetanse og erfaring med bruk av kunstig intelligens som arbeidsverktøy.
Med dette som bakgrunn startet DA opp et endrings- og læringsprosjekt. Målet var å utforske mulighetene og begrensningene knyttet til innføring av generativ kunstig intelligens, samt utforme gode retningslinjer for bruk.
M365 Copilot Chat ble vurdert som den minst risikable, minst teknisk krevende og rimeligste løsningen å starte med. Løsningen er del av det Norges domstoler allerede har investert i gjennom sin M365 E5 lisens. Prosjektets mandat ble å innføre dette.
Trygghet og sikkerhet sentralt
Norges domstoler, som den 3. statsmakt, er helt avhengige av innbyggernes tillit.
En viktig prinsippavgjørelse som ble tatt tidlig var derfor at generativ KI ikke skulle brukes til å ta beslutninger på egen hånd. På nettsiden om KI i Norges Domstoler står det derfor:
“Det er alltid mennesker som foretar de endelige beslutningene i domstolene. Alt innhold fra KI blir nøye gjennomgått, vurdert og eventuelt korrigert av kvalifiserte medarbeidere før det benyttes i vårt videre arbeid. Den eller de personer som står som avsender eller utsteder av et dokument fra domstolene er alltid ansvarlig for innholdet av dette, uansett hvilke verktøy som har vært benyttet i utarbeidelsen av innholdet“.
Dette ble et avgjørende budskap som både er en del av retningslinjene, men også en viktig del av kommunikasjons- og kompetansepakkene som ble laget.
Prosjektet ble av denne grunn konsentrert rundt innsikt/
kartleggingsarbeid, prosess- og endringsledelse, kompetansebygging og informasjonssikkerhets- og personvernvurderinger.
.jpeg)
Designtenking som metode
Det ble tidlig oppdaget at Microsoft endret funksjonalitet og dokumentasjon hyppig, og dermed ble iterative prosesser vurdert som beste arbeidsmetodikk.
Prosjektet var delt i flere faser med totalt ni leveranser. Siden prosessen var smidig, overlappet mange av fasene.
"I dette prosjektet brukte vi en kombinasjon av prosjektmetodikk og designtenkning. Prosjektmetodene brukte vi fordi vi måtte støtte forutsigbare forankringsprosesser, lederinvolvering og god internkommunikasjon. Samtidig var det i høyeste grad et utprøvende prosjekt med skiftende forutsetninger, umoden teknologi og ikke-kartlagte bruksområder. Selv om det var krevende under vegs tror jeg dette var en riktig tilnærming til å løse mandatet vi hadde fått innen tidsfristen."
Martin Fjeldvær, Rådgiver & Tjenestedesigner i Bouvet
For å identifisere risikoer og mulige fallgruver med å innføre Copilot Chat i Norges Domstoler, ble det gjennomført en risiko- og sårbarhetsanalyse (ROS) og en personvernkonsekvensvurdering (DPIA). Dette ble et kontinuerlig arbeid gjennom prosjektet.
I risiko- og sårbarhetsanalysen var det fokus på å identifisere tekniske, administrative og organisatoriske risikoer i tillegg til usikkerheter. Det ble gjennomført en workshop med saksbehandlere, dommere og utredere fra domstolene i tillegg til direktør og styreleder fra DA, for å få dypere innsikt i risikobildet. Risikoer knyttet til språkmodeller og generativ KI generelt ble også utforsket og etiske problemstillinger ble løftet. Etter grundige vurderinger av generelle risikoer og personvernkonsekvenser ble restrisiko akseptert.
«Bouvet har vært en utmerket samarbeidspartner for oss, og har bidratt med både faglige
innspill og kloke vurderinger. Hvis jeg skal trekke frem ett spesielt moment, må det være deres uredde tilnærming og faglige integritet. De har ikke vært redde for å utfordre oss og våre tanker når det har vært nødvendig, og sammen har vi kommet frem til gode og anvendbare løsninger på problemstillingene som har oppstått under implementeringen».
Olav Isak Sjøflot, IT-direktør Norges Domstoler, DA
Oslo tingrett og Sogn og Fjordane tingrett som pilotdomstoler
I tillegg til ulike medarbeidergrupper var Oslo tingrett og Sogn og Fjordane tingrett med som pilotdomstoler i prosjektet. Pilotdomstolene bidro med å teste prototyper, avdekke mulige bruksområder, utfordringer og erfaringsdeling.
Piloteringen ga grunnlag for praktiske brukseksempler, opplæringsmateriale og retningslinjer. Kompetansebygging var også svært viktig, ikke bare i piloteringsfasen, men gjennom hele prosjektet.
I tillegg til pilotering, ble det også gjennomført innsiktsintervjuer med ulike roller i domstolinstansene. Her var hensikten å få dypere forståelse av erfaringer rundt bruk samt brukernes syn og kunnskap om KI og Copilot.
Ut ifra piloteringen, innsiktsintervjuer, ROS og DPIA ble det utarbeidet to retningslinjer:
1) Retningslinjer for bruk av Microsoft Copilot
2) Retningslinjer for eksterne KI-tjenester
Her fremgår det tydelig hva du kan bruke de ulike KI-verktøyene til, både med tanke på hva du laster opp, men også hvilke arbeidsprosesser det er lov å bruke det i.
“Generativ kunstig intelligens er fortsatt en forholdsvis ny teknologi, særlig i Norges domstoler. Det betyr at vi fremdeles er i en fase der vi utforsker hvordan KI kan tas i bruk på en best mulig måte. Derfor vil vi fortløpende oppdatere retningslinjene for bruk, slik at vi kan identifisere nye risikofaktorer og samtidig sikre at medarbeidere føler seg trygge på å bruke KI-verktøy på en sikker og ansvarlig måte”.
Johanne Skumsnes, rådgiver rettsavdelingen Domstoladministrasjonen
Muligheter og begrensninger
Prosjektet avdekket mange potensielt verdifulle og nyttige bruksområder ved bruk av Copilot Chat som man ønsket å utforske nærmere.
Noen av de identifiserte bruksområdene var:
- Tekstbearbeiding og språklig støtte (klarspråk): oversettelse til og fra andre språk, sammendrag av dokumenter, presentasjoner og kommunikasjonsplaner.
- Informasjonssøk og analyse: søking etter informasjon og kildesøk, oppsummering av møter, transkribering samt analyse og evaluering av innhold.
- Støtte og utvikling: utarbeidelse av interne brukerveiledninger samt bruk av Copilot som en “sparringspartner” for idéutvikling.
- Tekniske oppgaver og visualisering: lage illustrasjoner, utvikle kompetansemateriell, koding og makroer i Excel.
Det ble også avdekket mange tekniske begrensninger som for eksempel:
- Manglende chathistorikk.
- Begrenset filstørrelse på opplastede dokumenter og behandling av flere dokumenter samtidig.
- Begrensninger i filtyper og inputkilder
- Begrensninger i antall ord (“tokens”) Copilot kan behandle.
- Copilot er flinkere i engelsk enn norsk.
Risikomomenter
DA ønsket å ta i bruk kunstig intelligens for å følge den teknologiske utviklingen i samfunnet og for å effektivisere arbeidet. Samtidig var det viktig å kunne bruke det på en trygg og ansvarlig måte. Det ligger alltid risikoer i bruk av generativ KI, blant annet ift. hallusinering og bias i datagrunnlag.
Generativ KI kan for eksempel inneholde skjevheter i data (bias), diskriminering, feilinformasjon (hallusinasjoner) og det kan påvirke evnen til å vurdere informasjon kritisk. Det er derfor viktig å være bevisste på hvordan teknologien brukes, slik at man ikke blir for avhengige av den eller lar den svekke egen dømmekraft.
Uansett om KI brukes eller ikke, skal man alltid kunne forklare og stå inne for de vurderingene som gjøres.
Verdi
For Domstoladministrasjonen har innføringen vært en suksess og alle medarbeidere i Norges domstoler har fått et trygt KI-verktøy som støtteverktøy i arbeidshverdagen. Retningslinjer for bruk av både den nye interne KI-tjenesten og åpne KI-tjenester er forankret i organisasjonen. Implementeringen har også bidratt til økt KI-kompetanse og bevissthet rundt bruk av kunstig intelligens både på ledernivå, i DA og hos medarbeidere ute i Domstolene.