Azure OpenAI + CV'er = sant?
Alle snakker om generativ AI for tiden. Mulighetene er store, men det er også mye usikkerhet og hype rundt hva teknologien kan levere. For å bygge kompetanse samlet en gjeng av våre konsulenter seg for å teste ut generative AI på et ekte forretningsbehov, nemlig tilbud- og CV skriving!
Grounding av Large Language Modeller (LLM)
Large Language Modeller som GPT-4 er generativ AI og brukes for å prosessere prompter og generere tekstlig svar. For å få mest ut av disse modellene kan de kombineres med relevante data som de kan bruke for å forbedre sine svar. Dette er en prosess som kalles for «grounding» på godt engelsk.
Det finnes flere strategier for å forsyne eller «ground» LLM’er med relevante informasjon:
- Prompt Engineering: Dette handler om å gi modellen (feks. GPT-4) all informasjon den trenger for å gi et bra svar, i prompt. Dette er en populær strategi fordi dette er så enkelt. Men pass på! Noen LLM’er har begrenset prompt lengder, eller tar betalt basert på antall ord i et prompt.
- Retrieval Augmented Generation (RAG): Her kombineres en LLM modell med en datakilde. Eksempel på datakilder inkluderer nettsøk, dokumentmapper i Sharepoint, databaser osv. RAG er også populært, og brukes i produkter som Microsoft 365 Copilot. En stort fordel er at RAG støtter endringer i datakilder og levere en dynamisk løsning.
- Fine Tuning: Her trenes en LLM med domenespesifikk data. Den kan ha bra resultater, men resultere i statiske modeller som potensielt må trenes på nytt hver gang datagrunnlaget endrer seg. Dette krever spisskompetanse, tid og ikke minst, treningsdata med god kvalitet.
Motivasjonen for vår workshop
Vi ønsket å sette sammen et lavterskel workshop hvor deltakere kunne:
- Sette opp nødvendig infrastruktur i Azure.
- Teste ut Prompt Engineering.
- Lage en enkelt RAG basert på en use-case basert datakilde.
Andre krav på workshop inkluderte:
- Den skulle kunne gjennomføres på 2-3 timer.
- Det skulle være tilgjengelig for alle, ikke bare data scientister.
- Det skulle adressere et ekte forretningsbehov.
- Det skulle være lett å gjenta for andre konsulenter eller kunder.
Gjennomføring av workshop
Foredrag: Prompt Engineering
Vi begynte med et foredrag med Lasse Arnesen fra Microsoft. Dette gav nyttig kontekst om hvordan man kan få det beste resultater ved å skrive gode prompter.
Foredraget inkluderte en Q&A, der det var mange gode diskusjoner rundt personvern og data sikkerhet.
Etter foredraget delte vi oss i grupper på 2-3 og satte i gang med de praktiske oppgavene.
Oppgave 1: Sette opp en enkelt RAG basert på ekte CV data
Vi benyttet oss av Azure OpenAI Service. Dette var lett å sette opp gjennom et enkelt peke og klikk grensesnitt. Et av stegene involverte opplasting av 50 Bouvet CV'er, som ble indeksert og prosessert av Azure Search AI og koblet til en GPT-4 LLM. Resultatet var en slags RAG basert løsning, som kunne svare på spørsmål om CV'er i datagrunnlaget.
Data sikkerhet var også ivaretatt, ved at Microsoft ikke bruker innhold av CV'er eller våre prompter til å trene opp sine modeller.
Oppgave 1 tok i gjennomsnitt 5-10 minutter. Da var alle klar for å teste ut modellen!
Oppgave 2 : Prompt Engineering for å få de beste resultatene
Dette var den morsomste delen av workshoppen! Teamene konkurrerte med hverandre for å få de beste resultatene ut av modellen. Det var satt opp noen oppgaver som teamene skulle løse, som for eksempel:
- Tilbudsskriving: Sette sammen en team basert på en kundebehov
- Oppsummere kompetanse: Identifisere kompetanse hull i CV'er.
- CV oppdatering: Skrive en innledning til CV som oppsummere erfaring og kompetanse
Resultatene fra Azure OpenAI Service var overraskende bra, men det var tydelig at disse ikke burde brukes uten noe manuelle intervensjon. Men det var åpenbart et stort potensielle for denne type løsningen å spare tid, selv om dette skal ikke erstatter mennesker akkurat enda!
Verdi og veien videre
Dette var en lavterskel workshop som på mange måter var trivielt. Men den ga deltakerne innsikt i hvordan de kan kombinere GPT-4 med ekte data for å løse et ekte forretningsbehov. Denne kunnskapen kan de ta tilbake til sine kunder og prosjekter. Kanskje kommer det noen kule og innovative løsninger ut av dette?
Bruk av Azure OpenAI Service gjorde at det var raskt og lett å komme i gang. Ingen koding betydde at workshop var åpen for alle og at fokus kunne være på prompt engineering, istedenfor konfigurering av modellen. Våre data var også beskyttet (inkl. alt som ble lagt inn i prompter) og skal ikke lagres eller brukes av Microsoft.
Planer for videre workshops inkluderer å teste ut forskjellige formater for kildedata, for å se om dette gir bedre resultater. Vi har også planer om å lage en versjon av denne workshop bygget på åpenkildekode.
Takk for lesing! Har du lyst til at vi gjennomfører denne workshop for dere, men deres egne data? Ta kontakt!
AI hjelper nyfødte med å puste
Bane NOR
Slik sikrer Bane NOR rettferdig avregning av energikostnader for togtrafikk i Europa
Å Insite
Leverer energidata til næringslivet
Prosjekt
Effektiv kvalitetssikring for optimal utvikling av løsninger
Reisebrev fra NDC 2024
