Bildeanalyse og maskinlæring for mer effektive arbeidsprosesser

Utfordringen

Elvia er Norges største nettselskap med ansvar for strømnettet til 2 millioner norske husholdninger. De bruker store ressurser på å sikre kontinuerlig og sikker drift av strømnettet. Dette inkluderer mange ulike arbeidsoppgaver, som for eksempel vedlikehold av høyspentledninger og installasjon av AMS-målere.

Med over 70.000 km strømnett og millioner av husholdninger koblet på, stilles det også store krav til beredskap, drift og infrastruktur. Eksempler på viktige arbeidsoppgaver er å følge opp dokumentasjonskontroll av underleverandører, kontrollere endringer i vegetasjon rundt høyspentnett eller undersøke strømmaster som har fått en støyt i uvær. Alle disse eksemplene dokumenteres med bilder fra ulike kilder. Mye av arbeidet Elvia utfører krever i dag solid domenekunnskap, manuell filhåndtering og et skarpt øye for detaljer på bilder av ulik kvalitet. Bouvet fikk i oppgave å vurdere hvordan bildene kunne bli en viktig ressurs for mer smidige, presise og effektive arbeidsprosesser. 

Løsningen

Bouvet utførte en mulighetsstudie for bildeanalyse med maskinlæring. Mulighetsstudien ble delt inn i to faser.

Fase 1 : Workshops og intervjuer

Fase 1 hadde en åpen tilnærming. Det ble gjennomført workshops og intervjuer for å avdekke bruksområder. Dette resulterte i en lang liste. Hvert bruksområde på listen ble vektet med basis i tilgjengelighet av data, kvalitet på data, krav til infrastruktur, kompleksitet i metodikk for bildeanalyse og forretningsverdi. 

Resultatet av Fase 1 ble presentert for kunden og ga grunnlag for videre arbeid. 

Fase 2 : Kvalitetssikring og validering av AMS-målerinstallasjoner

I Fase 2 ble det sett nærmere på et av bruksområdene som ble vurdert som høyt prioritert i Fase 1. Det var å evaluere bilder av AMS-målerinstallasjoner og avdekke potensielle problemer med måleren eller med plassering av kabler og ledninger. Det ble bestemt å gå videre med å lage en "proof of concept" av en maskinlæringsmodell for å gjøre dette arbeidet.

Først så vi på generering av syntetiske treningsdata

Trening av en maskinlæringsmodeller krever tilgang på store nok mengder med merkede treningsdata. I praksis betyr det tilgang på mange bilder av både korrekt installerte og feil installerte målere. Det ville tatt veldig lang tid å samle inn og manuelt merke nok bilder for å gi gode resultater.

Derfor valgte konsulentene fra Bouvet å bygge en 3D-modell av AMS-måleren og kablene. Denne modellen ble brukt til å generere et treningssett – både bilde og fasit – helt automatisk.

En 3D-modell av AMS-måleren ble bygget og brukt for å genere treningsdata

Resultater fra maskinlæringsmodellen trent på syntetiske treningsdata

I testene som ble utført ble det demonstrert at en modell som bare er trent på syntetiske data kan brukes på ekte bilder. Med utgangspunkt i litteratur om fotogrammetri ble det undersøkt hvordan vi kunne 3D-skanne objekter, som AMS-måleren, ved å ta bilder av dem. Dette gjorde at 3D-modellen ble mer virkelighetstro og det var ikke lenger nødvendig å bygge den opp manuelt.

Resultater fra en maskinlæringsmodell som identifisere målere (syntetiske bilder over, ekte bilder under)

Figuren over viser en maskinlæringsmodell som segmenterer bilder. Modellen var bare trent på 50 syntetiske bilder i ca. 20 minutter på Google Colab. Modellen viste lovende resultater. Mange av svakhetene skyldes at 3D-modellen ikke samsvarer med virkeligheten. F.eks. viser displayet alltid et bestemt tall i 3D-modellen.

Segmenteringsmodell for blå kabler som kan brukes til å finne endepunktene til kablene og plasseringen i bildet

I løpet av arbeidet ble det tydelig at realistiske, syntetiske data kan føre til mye høyere kvalitet på resultat fra bildeanalyser, enn ved ren bruk av historiske data. Dette grunnet større mengder bilder og høyere kvalitet på annoteringen. Realistiske, syntetiske data gir også en mer effektiv utviklingsprosess fordi tid spares på å merke data.

Template Matching og Optical Character Recognition

I tillegg til maskinlæring ble template matching og OCR testet ut for å hente ut symboler, logo og tekst fra AMS-måleren. Begge disse teknikkene kan brukes uten treningsdata. OCR er trent på forhånd av f.eks. Google Vision API eller Tesseract. Template matching er ikke maskinlæring, men en tradisjonell datasyn-teknikk, og trenger derfor ikke å trenes.

Eksempler på Template Matching

Bruk av Google Cloud OCR for å identifisere bokstaver og tall

Til slutt ble det laget forslag til arkitektur for en fullverdig versjon av systemet, der alle disse teknikkene ble brukt sammen. Arkitekturen definerte hvordan systemet skulle hente ut informasjon, gjøre preprosessering og koble dette til et definert regelsett fra domeneeksperter. På den måten kunne bildene bli kvalitetssikret og validert automatisk.

Verdi for kunden

Elvia er i dag i gang med å utvikle infrastruktur som vil kunne tilrettelegge for effektiv bildeanalyse ved blant annet maskinlæring. Mulighetsstudien har vist at teknologien gjøre det mulig å hente ut store gevinster. Prosjektet åpnet opp for å se bilder som en viktig ressurs både med og uten maskinlæring, og forsterket viktigheten av å ha en infrastruktur som lar bedriften utnytte ressursene til det fulle.