AI-sikkerhetsnettet: Hvordan LLM-er fanger opp de usynlige menneskelige feilene som koster profesjonelle tjenesteytere millioner

For en partner i et spesialisert advokatfirma eller lederen for et rådgivende ingeniørfirma, er ikke det dyreste i verden en mislykket markedsføringskampanje. Det er et feilplassert «ikke» i en kontrakt, eller et desimaltegn flyttet én plass til venstre i en bærende konstruksjonsberegning. Dette er usynlige feil – den typen feil som menneskelige øyne, uansett hvor erfarne de er, er biologisk programmert til å overse. Det er her AI for små bedrifter går fra å være en nysgjerrighet knyttet til produktivitet til å bli en ikke-omsettelig forsikringspolise.

I mitt arbeid med hundrevis av profesjonelle tjenesteytere har jeg lagt merke til et tilbakevendende mønster jeg kaller fellen for kognitiv avdrift (The Cognitive Drift Trap). Det er fenomenet der jo mer ekspert du blir, desto mer sannsynlig er det at du overser grunnleggende feil i ditt eget arbeid. Hjernen din begynner å lese det som burde stå der, i stedet for det som faktisk står der. Du har skrevet ti tusen kontrakter; du kan skadesløsholdelsesklausulen utenat. Så når øynene dine glir over den, fyller hjernen din inn tomrommene og ignorerer det faktum at en fullmektig ved et uhell slettet tre ord som endrer hele ansvarsprofilen i avtalen.

Tradisjonelt var den eneste løsningen flere mennesker. Man leide inn et ekstra sett med øyne, vanligvis til en høy timepris, for å utføre en uavhengig gjennomlesning. Men mennesker blir trette, de blir distrahert, og de lider av de samme kognitive skjevhetene som forfatteren. Et AI-sikkerhetsnett, drevet av store språkmodeller (LLM), opererer annerledes. Det blir ikke trett, det har ikke et ego, og det antar ikke at du har rett bare fordi du er sjefen.

Anatomien i et AI-sikkerhetsnett

Implementering av et AI-sikkerhetsnett handler ikke om å erstatte eksperten; det handler om å beskytte ekspertens rykte. For små bedrifter i bransjer med høy risiko er dette den store utjevneren. Det gjør det mulig for et firma med to ansatte å tilby samme nivå av streng kvalitetssikring som et Magic Circle-advokatfirma eller et globalt ingeniørkonsern, uten de enorme faste kostnadene.

For å bygge dette nettet bruker vi et rammeverk i tre trinn: Semantisk konsistens, logisk stresstesting og avviksdeteksjon.

1. Semantisk konsistens (Sjekk av «intern logikk»)

Dette er det mest grunnleggende, men likevel mest vitale laget. I et dokument på 60 sider har mennesker problemer med å spore om en definisjon på side 4 forblir konsistent med en underklausul på side 52.

Innen juridiske tjenester ser jeg for eksempel ofte «byråavgiften» anvendt her – der firmaer fakturerer klienter tusenvis av pund for manuell kryssreferering som en LLM kan utføre på sekunder. Ved å mate dokumentet inn i en sikker LLM og be den om å «identifisere alle tilfeller der definerte begreper brukes inkonsekvent, eller der kryssreferanser peker til seksjoner som ikke eksisterer», fanger du opp feilene som fører til rettstvister. Hvis du er nysgjerrig på hvordan dette påvirker bunnlinjen, kan du se vår veiledning for besparelser i juridiske tjenester for en oversikt over timer som er spart inn.

2. Logisk stresstesting (Den «adversarial» ledeteksten)

Her går vi fra korrekturlesing til aktiv «Red Teaming». I stedet for å spørre AI-en om dokumentet er «bra», ber vi den om å innta rollen som motpart.

• For regnskapsførere: «Jeg er en skattereditor som ser etter inkonsekvenser i disse noteopplysningene til regnskapet. Finn tre områder der den narrative beskrivelsen av prinsipper for inntektsføring motsier de numeriske dataene i tabellene.»
• For ingeniører: «Jeg er en bygningsinspektør som ser etter en grunn til å avvise denne spesifikasjonen. Finnes det tilfeller der den spesifiserte materialkvaliteten faller under minimumskravet for denne spesifikke belastningskategorien?»

Ved å innta en motstridende holdning identifiserer AI-en svakheter du var for nær prosjektet til å se selv. Det handler om å fange opp fallgruvene før klienten din eller en regulator gjør det.

3. Avviksdeteksjon

Dette laget sammenligner leveransen din mot en «gullstandard» eller et sett med regulatoriske krav. Små bedrifter sliter ofte med å holde tritt med skiftende regelverk. Ved å laste opp den siste regulatoriske oppdateringen sammen med utkastet ditt, kan du be AI-en om å «flagge alle deler av denne rapporten som ikke er i samsvar med de oppdaterte kravene i seksjon 4.2 i de nye retningslinjene».

Hvorfor små profesjonelle tjenesteytere er sårbare

Store firmaer har egne avdelinger for kunnskapsforvaltning. Små firmaer har en kaffemaskin og en drøm. Risikoprofilen er vesentlig annerledes. En feil til £20,000 for en selvstendig næringsdrivende er ikke bare en avrundingsfeil; det er en trussel mot virksomhetens overlevelse.

Når vi ser på kostnader for juridiske tjenester, er ikke den skjulte kostnaden programvaren – det er «eksperttretthet». Småbedriftseiere i disse sektorene er vanligvis de primære inntektskildene, hovedkonsulentene og det siste leddet i kvalitetskontrollen på en og samme tid. Det er en oppskrift på utbrenthet og, til slutt, en katastrofal feil.

Fra teori til drift

Du trenger ikke en doktorgrad i prompt engineering for å begynne å bruke et AI-sikkerhetsnett. Du trenger en prosess.

1. Sikkerheten: Sørg for at du bruker en LLM-versjon på bedriftsnivå som overholder personvernregler. Legg aldri klientsensitive data inn i et offentlig tilgjengelig, «gratis» verktøy som bruker dataene dine til trening.
2. Sjekklisten: Ikke bare be AI-en om å «sjekke dette». Gi den en spesifikk sjekkliste over ditt firmas vanlige feilkilder. «Sjekk for: feil datoformatering, motstridende ansvarsbegrensninger og manglende signaturfelt.»
3. Mennesket-i-loopen: AI-en identifiserer den potensielle feilen; mennesket verifiserer den. Dette er 90/10-regelen i praksis: AI håndterer 90 % av søket, men eksperten tar den avgjørende beslutningen på de siste 10 %.

Den økonomiske virkeligheten

Jeg har hatt bedriftseiere som har spurt meg om de bør leie inn en tradisjonell konsulent for å hjelpe dem med å bygge disse prosessene. Ærlig talt? De fleste tradisjonelle konsulenter prøver fortsatt å finne ut hvor «på»-knappen for AI sitter. Når du sammenligner min tilnærming mot en tradisjonell forretningskonsulent, vil du se at jeg ikke har tro på seks måneder lange utredningsfaser. Jeg har tro på verktøy som fungerer i ettermiddag.

Kostnaden for et LLM-abonnement er ubetydelig sammenlignet med kostnaden for et krav mot ansvarsforsikringen. I den nye økonomien er ikke den «trygge» bedriften den som jobber hardest; det er den som har bygget det sterkeste automatiserte sikkerhetsnettet.

Vinduet for å være «AI-nysgjerrig» er i ferd med å lukkes. Konkurrentene dine bruker allerede disse nettene for å jobbe raskere og med mer selvtillit. De byr på de samme kontraktene som deg, men de gjør det med vissheten om at deres leveranser er skuddsikre.

Hvilket dokument ligger på pulten din akkurat nå som du er nervøs for å sende? Det er der du starter. Bygg ditt første nett i dag.