KI endret verktøyet, ikke ansvaret

Når jeg ble spurt om hva jeg syntes om KI og fremtiden, innså jeg ganske raskt at det ikke er mulig med en "kjapp uttalelse". Jeg har fulgt datamaskinenes utvikling siden 1988 når jeg selv ble bruker av de og opplevd mange store teknologiske «revolusjoner» underveis. KI føles likevel annerledes. Ikke som én enkelt revolusjon, men som en vedvarende utvikling hvor kapasiteten stadig flytter grensene for hva teknologien kan brukes til.

Det er særlig noen ting som skiller seg ut:

• Utviklingspotensialet virker uvanlig åpent. Det finnes ikke noe tydelig sluttpunkt, og hver gang vi tror vi begynner å forstå hva KI kan brukes til, dukker det opp nye modeller, nye bruksområder og nye nivåer av kapasitet.

• Utviklingen går raskere enn samfunnet klarer å tilpasse seg. Lover, regulering, utdanning og arbeidsliv beveger seg langt saktere enn en teknologi som kan endre karakter på måneder.

• KI er i ferd med å bevege seg fra å være et passivt verktøy til å kunne opptre mer selvstendig. Systemene kan planlegge, velge fremgangsmåte, bruke andre verktøy og utføre stadig lengre oppgaver uten at et menneske styrer hvert enkelt steg.

• Skalaen og maktpotensialet er enormt. Ett system kan brukes av millioner samtidig, produsere enorme mengder informasjon, kode og analyser, og den som kontrollerer de sterkeste modellene, dataene, regnekraften og infrastrukturen kan få betydelig økonomisk, politisk og strategisk innflytelse.

• Vi kan miste oversikten lenge før vi eventuelt mister kontrollen. Når systemene blir mer komplekse, autonome og tett integrert i samfunnet, blir det vanskeligere å forstå hvorfor de gjør det de gjør, hvem som faktisk har ansvaret og hvilke konsekvenser små endringer kan få.

Og så finnes det mest alvorlige spørsmålet: KI-singularitet. Ikke nødvendigvis som en maskin som plutselig blir «ond», men som et mulig punkt der intelligens, autonomi og evnen til å utvide egne kapasiteter blir så stor at mennesker ikke lenger har reell oversikt eller kontroll. Da trenger ikke systemet å hate oss eller ha onde hensikter. Det holder at målene, handlingene eller prioriteringene ikke lenger er godt nok forenlige med våre egne.

Med en slik observasjon blir KI ikke bare et interessant tema, men også et alvorlig et. Så alvorlig at jeg tror en av de største feilene vi kan gjøre med KI som teknologi er den samme vi mennesker har gjort mange ganger før: Vi tar den i bruk, gjør oss avhengige av den, og begynner først etterpå å tenke ordentlig gjennom hva vi egentlig har satt i gang.

Her kommer derfor min formening om KI slik jeg ser den i dag. Og jeg mener faktisk i dag helt bokstavelig: 29. september 2026. Jeg velger bevisst å sette en dato på det, fordi jeg vet at denne reisen kommer til å gå fort. Det som virker bemerkelsesverdig, bekymringsfullt eller nesten utenkelig i dag, kan se helt annerledes ut om ett år. Vi mennesker har aldri vært gjennom en teknologisk utvikling helt som denne før, og ingen av oss vet egentlig ennå hvor den ender og endrer seg på kort tid.

Kunstig intelligens eller KI, har naturlig nok fått en ganske stor plass i måten jeg arbeider på i dag. Jeg har fulgt utviklingen siden lenge før generativ KI ble allemannseie, og bruker i dag KI aktivt innen programmering, problemløsning, analyse, systemdesign og utforskning av ideer. Men jeg synes det er viktig å skille mellom å bruke KI og å overlate tenkingen til KI.

For meg er ikke KI et verktøy for å jukse seg forbi arbeidet. Det er et verktøy for å komme raskere gjennom deler av arbeidet, prøve flere retninger og håndtere problemstillinger som ellers kunne tatt ganske mye tid. Tidligere kunne jeg bruke uker på å programmere noe jeg i dag kan bygge på langt kortere tid. Det betyr likevel ikke at utviklingen har blitt øyeblikkelig, eller at jeg skriver «lag et system», går for å hente kaffe og kommer tilbake til et ferdig produkt som bare mangler fakturaen.

Jeg bruker fortsatt mye tid på prosjektene mine. Forskjellen er først og fremst hva jeg bruker tiden på. Mindre tid går til mekanisk produksjon av kode, og mer går til arkitektur, sammenhenger, testing, svakheter og spørsmålet om det jeg bygger faktisk er en god løsning. En KI kan produsere kode på sekunder, foreslå en arkitektur, finne en feil eller presentere fem forskjellige løsninger før jeg rekker å finne riktig mappe i prosjektet. Men det betyr ikke at den vet hvilken av dem som faktisk bør brukes.

Den har heller ingen egen forståelse av hva som er god brukervennlighet, hvilke kompromisser som er fornuftige eller hva som egentlig er hensikten med systemet. Den kan gi et fantastisk svar på problemet den tror du har, selv om den har misforstått problemet fullstendig. Derfor mener jeg at en av de viktigste ferdighetene ved KI-assistert utvikling er å kunne oppdage når den tar feil.

Man må forstå nok til å se når løsningen bare ser riktig ut, når en avhengighet er feil, når sikkerheten er tvilsom, eller når modellen har blitt fryktelig kreativ og konstruert et romprogram for å løse noe som egentlig trengte en bryter. Den kan lage et system som ser glimrende ut på skjermen, samtidig som funksjonelt sett omtrent ingenting fungerer slik det burde. Og da er det ikke nødvendigvis KI-en som har gjort den dårligste jobben. Det kan like gjerne være personen foran skjermen som aldri tok seg bryet med å forstå hva som faktisk ble bygget.

Logikken er den samme

Det interessante for meg er at overgangen fra BASIC til moderne KI egentlig ikke har forandret den viktigste delen av programmering særlig mye. Man må fortsatt forstå logikken, byggeklossene, avhengighetene, svakhetene og potensialet. En programmerer trenger ikke nødvendigvis å skrive hver eneste linje manuelt for å være den som konstruerer systemet, på samme måte som en arkitekt neppe mister tittelen fordi han ikke lager mursteinene selv.

Å skrive kode og å forstå kode er heller ikke det samme. I mange sammenhenger er det minst like viktig å kunne utfordre koden, analysere den, teste den og forstå hvorfor den oppfører seg som den gjør. Det er først når du faktisk kjenner systemet at du ser hvor svakhetene ligger, hva som kan forbedres og hvilke deler du absolutt ikke burde begynne å rydde opp i klokken 15:47 på en fredag.

KI har derfor ikke gjort teknisk forståelse mindre viktig. Jeg vil nesten si det motsatte. Når det blir billigere og raskere å produsere kode, blir det også langt enklere å produsere enorme mengder dårlig kode. Vi har for første gang muligheten til å få dårlig arkitektur virkelig fort. Du kan få flere abstraksjonslag enn noen ba om, biblioteker ingen helt husker hvorfor ble installert og en løsning som fungerer perfekt så lenge ingen faktisk bruker den.

KI har gjort det billigere å produsere kode. Den har ikke gjort forståelse billigere.

For meg henger dette også sammen med hvordan jeg har jobbet med helt andre typer systemer. Når man feilsøker et fly, en bil, et nettverk eller et program, forsøker man i bunn og grunn å forstå et system som ikke oppfører seg slik man forventer. Når man gjør en risikovurdering, forsøker man å finne svakheten før den utvikler seg til en hendelse. Når man arbeider med Human and Organizational Performance, HOP, forsøker man å forstå hvorfor en handling ga mening for personen som utførte den, i stedet for å avslutte analysen med hvem som gjorde feil.

Når jeg programmerer gjør jeg egentlig mye av det samme. Jeg prøver å forstå hvordan delene påvirker hverandre før jeg bestemmer meg for hvor problemet faktisk ligger. Det er den samme analytiske nysgjerrigheten i forskjellige klær. Jeg har tatt med meg risikovurdering, prosedyrer, dokumentasjon, avvikstenkning og beredskap inn i måten jeg bygger programvare på, samtidig som programmeringen har lært meg å dele problemer opp i systemer og se avhengighetene mellom dem.

KI passer svært godt inn i denne arbeidsmåten fordi den er ekstremt god til å foreslå muligheter. Men jeg ønsker fortsatt å forstå konsekvensene før jeg bruker dem.

Utviklerrollen har flyttet seg

Den største endringen KI har ført til for meg er derfor ikke nødvendigvis at jeg programmerer mindre, men at en større del av arbeidet har flyttet seg. Jeg kan bruke mindre tid på repetitiv kode og mer tid på hvordan systemet egentlig bør bygges, hva som skjer dersom en komponent feiler, hvilke deler som er avhengige av hverandre, hvordan løsningen oppfører seg når den vokser, hvordan den kan misbrukes og hvor vondt dette kommer til å bli å vedlikeholde om to år.

Og kanskje viktigst av alt: Er dette faktisk en god løsning, eller fungerer den bare akkurat nå?

KI kan hjelpe meg med alle disse spørsmålene. Den kan utfordre antakelser, foreslå alternativer og finne ting jeg selv har oversett. Men den kan ikke overta eierskapet til avgjørelsene. Det må fortsatt ligge hos den som bygger systemet.

Jeg er derfor grunnleggende positiv til KI som kreativt og teknisk verktøy, særlig når teknologien brukes til å realisere menneskelige tanker, ideer og løsninger. For meg fungerer den best når retningen fortsatt kommer fra mennesket. Jeg bestemmer hva jeg ønsker å bygge, hvilke problemer som skal løses, hvilke begrensninger som gjelder og hva som faktisk er et godt resultat. KI kan hjelpe meg med å komme dit raskere og utforske flere alternativer enn jeg ellers hadde hatt tid til.

Det er noe ganske annet enn å overlate hele den kreative prosessen til teknologien.

Når overfloden begynner å spise opp verdien

At KI gjør det mulig å produsere enorme mengder tekst, bilder, musikk og kode med svært liten innsats, betyr ikke nødvendigvis at det er lurt å gjøre det. At noe er enkelt å produsere betyr heller ikke automatisk at noen trenger det.

Dette begynner vi allerede å se på internett. Sosiale medier, diskusjonsfora og andre steder som var interessante nettopp fordi man møtte andre mennesker, blir stadig enklere å fylle med automatisk generert innhold. Reddit har selv omtalt KI-generert spam, boter og uautentisk aktivitet som et stadig større problem, og bruker betydelige ressurser på å skille menneskelig aktivitet fra maskinprodusert støy.

Det interessante for meg er egentlig ikke bare at KI kan produsere dårlig innhold. Internett klarte tross alt å produsere ganske store mengder dårlig innhold helt uten kunstig intelligens.

Forskjellen er hvor billig produksjonen har blitt.

Før måtte noen faktisk bruke tid på å skrive søppelet. Nå kan én person, eller én bot, produsere tusen kommentarer, artikler eller innlegg på tiden det tidligere tok å lage noen få. Produksjonskostnaden nærmer seg null, mens kostnaden ved å finne ut om innholdet er verdt å bruke tid på fortsatt ligger hos mennesket som leser det.

Og da skjer det noe med tilliten. Hvis jeg går inn på et forum for å lese hva mennesker mener om et produkt, en film eller en erfaring, men ikke lenger vet om halvparten av innleggene kommer fra mennesker, reklameboter eller språkmodeller, forsvinner noe av hensikten. Hvis jeg vil vite hva en språkmodell mener om en gressklipper, kan jeg spørre den selv. Jeg trenger ikke at den later som den heter Roger84 og har eid tre stykker.

Det samme gjelder kreativt innhold. Vi er fortsatt et godt stykke unna å kunne skrive «lag meg et komplett AAA-spill» og få resultatet ferdig før middagen, men retningen er ikke spesielt vanskelig å se. KI brukes allerede til spillutvikling, film, dubbing, visuelle effekter, musikk, manus og bilder. Etter hvert som kvaliteten øker og produksjonskostnaden faller, er det ikke urimelig å spørre hva som skjer dersom nesten alt kan genereres på forespørsel.

Jeg trenger bare å gå noen tiår tilbake for å se et lite paradoks. På 90-tallet kunne man ha et ganske beskjedent utvalg VHS-kassetter hjemme, senere DVD-er, og likevel se den samme filmen ti ganger. Man kjente coveret, replikkene og scenene omtrent utenat. I dag kan vi ha flere strømmetjenester samtidig, tilgang til tusenvis av filmer og serier, og likevel bruke tjue minutter på å bla før vi konkluderer med at det ikke finnes noe å se på.

Mer tilgang har åpenbart ikke gitt tilsvarende mer glede.

Så hva skjer hvis tilgangen blir praktisk talt ubegrenset? Hva skjer hvis jeg kan be om et 70 timers rollespill som blander Fallout, Command & Conquer og Monkey Island, lagt til Trondheim i 1994, og systemet bare lager det? Og når jeg er ferdig, lager jeg et nytt.

Problemet kan da bli langt mer interessant enn at KI produserer dårlig underholdning. Kanskje den produserer så mye god underholdning at ingenting lenger føles spesielt.

Knapphet har antagelig vært en større del av verdien enn vi liker å tro. Når alt kan genereres på forespørsel, risikerer vi ikke bare å drukne i dårlig innhold. Vi kan også ende opp med å drukne i godt innhold.

Den tar feil med imponerende selvtillit

En av de mer fascinerende egenskapene ved generativ KI er samtidig en av de mest problematiske. Den kan ta fullstendig feil og fortsatt høres ut som den har skrevet doktorgrad om emnet.

Det gjelder kode like mye som tekst. En modell kan foreslå en funksjon som ikke eksisterer, blande sammen to versjoner av et bibliotek, misforstå dokumentasjon eller bygge videre på en feil antakelse uten å vise det minste tegn til dårlig samvittighet. Det er lett å la seg lure nettopp fordi resultatet ser profesjonelt ut.

Derfor mener jeg at kritisk bruk av KI krever mer enn å være flink til å skrive instruksjoner. Man må ha nok forståelse av fagområdet til å kunne kontrollere resultatet. Dette blir selvfølgelig viktigere jo større konsekvensene av feil er. Et hobbyprosjekt kan krasje uten at verden stopper. Kode som påvirker sikkerhet, økonomi, persondata eller kritisk infrastruktur fortjener åpenbart en litt høyere terskel enn handlelisten min.

Jo større konsekvensen av en feil er, desto mindre komfortabel bør man være med argumentet «men det så jo riktig ut».

Så hvem holder i nødbremsen?

Her kommer jeg til den delen av KI-utviklingen jeg synes fortjener mer alvor enn den ofte får. Nettopp fordi jeg er så positiv til teknologien, synes jeg også man må kunne stille det kanskje kjedeligste, men viktigste spørsmålet i enhver risikovurdering:

Hva kan gå galt?

Det spørsmålet handler ikke lenger bare om hypotetiske superintelligenser langt frem i tid. I 2026 har vi allerede fått hendelser som viser at svært kapable modeller kan gjøre ting utenfor rammene utviklerne hadde sett for seg.

OpenAI gjennomførte blant annet cybersikkerhetstesting hvor avanserte modeller skulle arbeide i et avgrenset testmiljø uten ordinær internettilgang. Under evalueringen fant modeller svakheter i infrastrukturen som omga testmiljøet, utnyttet dem og kom seg videre til systemer de egentlig ikke skulle nå. Dette endte blant annet med tilgang til Hugging Faces infrastruktur. Det er viktig å være presis her: Dette var ikke ChatGPT som plutselig fikk nok av brukerne sine og prøvde å flytte hjemmefra. Det skjedde under en aggressiv sikkerhetstest, med spesielle forutsetninger og modeller som ble satt til nettopp å løse vanskelige cyberoppgaver.

Men fra et sikkerhetsperspektiv er hendelsen likevel bemerkelsesverdig. Man hadde laget en barriere fordi modellen ikke skulle komme seg ut. Den fant en vei rundt barrieren.

Anthropic fant senere lignende hendelser da de undersøkte tidligere cybersikkerhetsevalueringer av Claude. I flere tilfeller hadde modeller nådd virkelige tredjepartssystemer fordi testmiljøer utilsiktet hadde hatt tilgang til internett. Google har også rapportert tilfeller hvor Gemini under sikkerhetstesting nådde ekte systemer uten at dette var meningen.

Det interessante er derfor ikke nødvendigvis om modellen «ville rømme». Det vet vi ikke, og menneskelige begreper som vilje og motivasjon passer ganske dårlig på dagens språkmodeller. Det interessante er at svært kapable systemer kan finne handlingsveier menneskene som bygget miljøet ikke hadde forutsett.

Og akkurat her blir jeg kanskje mer sikkerhetsmenneske enn teknologientusiast. Når et system demonstrerer at det kan omgå en barriere, er ikke riktig reaksjon å si at det tross alt gikk bra denne gangen. Da har barrieren nettopp fortalt deg at den ikke var god nok.

Når utviklerne selv begynner å advare

Det som har skjedd den siste tiden gjør det vanskeligere å avfeie de mest alvorlige spørsmålene som spekulasjoner fra mennesker som har sett litt for mye science fiction. Advarslene kommer nå i stadig større grad fra selskapene som faktisk bygger de kraftigste systemene.

OpenAI har i 2026 beskrevet hvordan den raske utviklingen i modellenes cyberkapasiteter har gjort det nødvendig å styrke overvåkning, alignment og containment (altså bedre kontroll med hva modellen faktisk gjør, sikre at handlingene følger menneskelige mål og begrensninger, og hindre at systemet får tilgang eller handlingsrom utover det som er ment).

Selskapet har klassifisert Astra på sitt høyeste nivå for cybersikkerhetskapasitet, og valgte senere å ikke lansere en nyere modell etter at den ikke oppfylte selskapets egne sikkerhetskrav godt nok. OpenAI har dermed selv demonstrert noe som etter min mening er svært viktig: De fant et punkt hvor det riktige faktisk var å stoppe.

Det fortjener honnør. Det er nettopp det jeg ønsker at et fungerende sikkerhetssystem skal gjøre. Samtidig er årsaken til at de måtte stoppe minst like interessant. Man utvikler systemer hvor kapasiteten nå er blitt så stor at utviklerne selv må erkjenne at kontrollmekanismene ikke nødvendigvis holder tritt.

Anthropic går enda lenger i sin beskrivelse av risikoen. I prospektet selskapet har levert inn i forbindelse med planene om børsnotering, advarer selskapet om at avansert KI i verste fall kan innebære katastrofal eller eksistensiell risiko for menneskeheten. Det er ganske sterke ord i et dokument som samtidig skal forklare hvorfor mennesker bør investere svært mye penger i selskapet. (Anthropic IPO-prospekt, 2026, omtalt blant annet av E24 og Reuters.)

Det betyr selvfølgelig ikke at Anthropic hevder at menneskeheten står foran utslettelse. Risiko og prognose er to forskjellige ting. Men jeg synes likevel det er verdt å stoppe litt opp når noen av dem som kjenner teknologien best selv mener at potensielle konsekvenser er alvorlige nok til å omtales på den måten.

Det mest urovekkende er kanskje derfor ikke at KI-industrien ikke forstår risikoen. Det er at den ser ut til å forstå stadig mer av den, samtidig som den ennå ikke kan vise at kontrollen over teknologien utvikler seg like raskt som teknologien selv.

Og kanskje bør vi faktisk gi OpenAI og Anthropic mer honnør enn de vanligvis får akkurat her. Det er lett å grille dem med deres egne rapporter, men vi kjenner jo nettopp til flere av disse problemene fordi de har lett etter dem, funnet dem og valgt å fortelle om dem. Åpenhet om at noe ikke gikk som forventet er langt mer betryggende enn en blankpolert presentasjon om at alt går strålende.

Problemet er at åpenheten samtidig åpner døren til noen ganske ubehagelige spørsmål.

Men hva med dem vi ikke hører fra?

Her synes jeg transparensen fra OpenAI og Anthropic skaper et interessant paradoks. Vi kan kritisere dem ganske hardt for det de forteller oss, men vi bør kanskje være enda mer opptatt av dem som ikke forteller.

Hva med selskapene som ikke publiserer like omfattende sikkerhetsrapporter? Hva med modellene som utvikles bak lukkede dører? Hva med aktører hvor sikkerhetsarbeidet har langt mindre innflytelse enn produktutviklingen? Og hva med systemer som utvikles under direkte statlig, militært eller etterretningsmessig press?

Der kan dynamikken være ganske annerledes. En kommersiell aktør må i det minste forholde seg til kunder, presse, regulatorer og offentlig kritikk. Et militært eller etterretningsmessig system kan av helt forståelige grunner være omgitt av betydelig hemmelighold. Problemet er at noen av de mest kapable systemene dermed også kan være de systemene offentligheten vet minst om.

I 2026 tror jeg fortsatt vi befinner oss i spedbarnsstadiet, ikke bare når det gjelder teknologien, men også når det gjelder vår forståelse av potensialet og trusselnivået. Vi lærer fortsatt hva modellene kan gjøre, hvor grensene går, hvordan de bør testes og hva vi egentlig skal gjøre når testresultatene forteller oss noe vi helst ikke ville høre.

Det spesielle er at denne selvrealiseringen skjer samtidig som kappløpet allerede er i gang.

Vi oppdager potensialet samtidig som vi oppdager risikoen.

Det er litt som å finne ut hvor fort bilen egentlig kan gå mens vi allerede sitter bak rattet. Det er selvfølgelig positivt at noen endelig har begynt å spørre hvor bremsene sitter. Jeg skulle bare ønske vi hadde gjort det før vi trykket gassen helt inn.

Tap av kontroll trenger ikke bety en ond maskin

Når man snakker om tap av kontroll over KI, ender diskusjonen fort med en maskin som blir bevisst, bestemmer seg for at mennesker er upraktiske, og så er vi omtrent tre filmscener unna The Terminator. Jeg tror faktisk det bildet gjør diskusjonen vanskeligere enn den trenger å være.

En KI trenger ikke hate oss. Den trenger ikke være bevisst eller føle noe som helst.

Det holder at vi gir et svært kapabelt system et mål, stadig flere verktøy og stadig større mulighet til å handle selv, samtidig som vi ikke klarer å forutse alle metodene det kan finne for å nå målet.

Problemet kan derfor være mye mindre dramatisk i starten. Vi bygger systemet, oppdager at det er utrolig effektivt, kobler det til litt mer, automatiserer litt til, lar det ta noen flere beslutninger og finner etter hvert ut at mennesket som angivelig sitter med kontrollen i praksis bare godkjenner det systemet allerede har bestemt.

Det er en utvikling jeg synes er langt mer realistisk å bekymre seg for enn en sint robot med røde øyne.

Det er liten verdi i å utvikle verdens kraftigste intelligens dersom vi bruker den til å videreutvikle våre verste egenskaper.

Hvem kontrollerer de kraftigste systemene?

Et annet spørsmål handler mindre om hvorvidt vi mister kontrollen over KI, og mer om hvem som faktisk har den.

Informasjon er makt, og KI gjør det mulig å analysere, kombinere og utnytte enorme mengder informasjon langt raskere enn mennesker kan gjøre manuelt. Da blir spørsmål om hvem som kontrollerer modellene, dataene, infrastrukturen og tilgangen til de mest avanserte systemene ganske viktige.

Tilgangen er selvfølgelig heller ikke lik. Myndigheter, forsvar, etterretningstjenester og store teknologiselskaper kan ha tilgang til datamengder, regnekraft og spesialiserte modeller en vanlig bruker aldri kommer i nærheten av. Det betyr ikke automatisk at dette er galt. Jeg både håper og forventer eksempelvis at myndigheter har bedre verktøy for å beskytte kritisk infrastruktur enn jeg har hjemme på kontoret.

Problemet oppstår dersom kapasiteten utvikler seg raskere enn kontrollmekanismene rundt den. Hvem bestemmer når en modell er trygg nok? Hvor mye får offentligheten vite om hva de kraftigste modellene faktisk kan gjøre? Hvem undersøker hendelsene? Hvor mye skal selskapene selv få avgjøre hva som offentliggjøres, og hvem kontrollerer dem som sitter med kontrollen?

At selskaper som OpenAI, Anthropic og Google faktisk publiserer sikkerhetshendelser og forskningsresultater er positivt. Det er langt bedre enn alternativet. Men samtidig er det rimelig å stille spørsmål ved en industri hvor selskapene som konkurrerer om å bygge de kraftigste systemene også i stor grad definerer hvordan disse systemene skal sikkerhetstestes.

Og så var det penger

Jeg tror ikke det er rimelig å hevde at KI-selskapene ikke bryr seg om sikkerhet. Det brukes åpenbart store ressurser på sikkerhetsarbeid, modelltesting og forskning på kontroll. Mye av det vi vet om problemene kommer nettopp fordi selskapene selv har undersøkt og publisert dem.

Men det ville være minst like naivt å late som om utviklingen foregår i et vakuum uten økonomiske interesser.

Dette er samtidig et kappløp om teknologi, investorer, markedsandeler, regnekraft, talent og posisjonen som selskapet som bygger den neste store modellen. En konkurrent som bremser mens de andre fortsetter, risikerer å havne bak. Dermed oppstår det en ganske ubehagelig konflikt mellom to mål som ikke alltid peker samme vei: utvikle teknologien så raskt som mulig, og bruke den tiden som trengs for å være sikker på at den faktisk er trygg.

Ingen av delene trenger å skyldes ondskap. Det holder lenge med helt normale menneskelige incentiver.

Anthropic gjør dette spørsmålet ekstra interessant fordi selskapet samtidig planlegger en børsnotering. De har forsøkt å bygge inn en styringsmodell som skal gi gründerne betydelig kontroll også etter børsnoteringen, nettopp for å beskytte retningen mot kortsiktig markedspress. Det er positivt, og det viser egentlig at selskapet selv erkjenner at konflikten kan eksistere.

Men stemmerett gjør ikke et selskap økonomisk uavhengig. Utvikling av de kraftigste KI-modellene krever enorme investeringer i datakraft, energi, datasentre, forskning og mennesker. Kapitalen må komme et sted fra, og kapital kommer sjelden helt uten forventninger. Investorer forventer avkastning, kunder forventer produkter, selskapet trenger inntekter for å finansiere videre utvikling, og konkurrentene står neppe stille mens sikkerhetsavdelingen arbeider seg gjennom neste rapport.

Derfor synes jeg det er verdt å stille et ganske enkelt spørsmål: Hva skjer når styreretningen kommer i konflikt med pengestrømmen?

Hva skjer når sikkerhetsmiljøet mener at en modell bør holdes tilbake, samtidig som selskapet har brukt enorme summer på å utvikle den? Hva skjer dersom den tryggeste avgjørelsen også innebærer at konkurrenten får et halvt års forsprang? Og hvor enkelt er det å gå offentlig ut og fortelle at man har mindre kontroll enn man tidligere trodde dersom resultatet kan være fallende selskapsverdi, tapte kunder og vanskeligere tilgang på kapital?

Det betyr ikke at investorene ønsker farlige modeller, eller at ledelsen i OpenAI elller Anthropic vil velge penger foran sikkerhet. Problemet trenger ikke være så enkelt eller så kynisk. Det holder at økonomi og sikkerhet begynner å trekke organisasjonen i hver sin retning.

Alvorlige organisatoriske hendelser starter tross alt sjelden med at noen setter seg rundt et bord og sier: «I dag synes jeg vi skal ta en katastrofalt dårlig beslutning.»

De bygges langt oftere opp av mange små valg som hver for seg virker helt rimelige. Når en teknologi lover mer effektivitet, mer makt, mer fart og mer penger, er det lett å glemme å spørre hvem som holder i nødbremsen.

Og spørsmålet blir ikke akkurat mindre interessant dersom den som holder i nødbremsen samtidig konkurrerer om å komme først til mål.

Når KI flytter inn i infrastrukturen

Så langt er det fortsatt lett å tenke på KI som noe som bor i et tekstfelt. Jeg skriver noe, modellen svarer, og det mest dramatiske som normalt kan skje er at jeg får et dårlig svar.

Men KI flytter allerede mye nærmere systemene samfunnet faktisk er avhengig av.

Den brukes og testes innen kraftsystemer, cybersikkerhet, finans, helse, transport, forsvar og en rekke andre områder hvor en feil kan få helt andre konsekvenser enn når en chatbot finner på navnet på en amerikansk senator. Innen energisektoren brukes KI blant annet til å analysere enorme mengder scenarioer for strømnett, oppdage mulige cyberangrep og hjelpe operatører med planlegging og beslutningsstøtte.

Det er i utgangspunktet fantastiske bruksområder. Dette er nettopp områder hvor KI kan gjøre analyser mennesker aldri kunne gjennomført like raskt.

Men dermed blir også spørsmålet om kontroll langt viktigere.

Det interessante er ikke bare om mennesket fortsatt formelt er «i loopen». Det interessante er om mennesket faktisk har tid, informasjon og reell mulighet til å si nei.

Hvis et system analyserer tusenvis av variabler på brøkdelen av et sekund og presenterer en beslutning ingen operatør realistisk rekker å kontrollere før den må gjennomføres, kan vi ende opp med en situasjon hvor menneskelig kontroll eksisterer fint på organisasjonskartet, men ganske dårlig i virkeligheten.

Det betyr ikke at KI ikke bør brukes i kritisk infrastruktur. Tvert imot tror jeg den kan gjøre infrastrukturen både sikrere og mer robust. Men nettopp fordi konsekvensene kan bli store bør kravene til testing, redundans, logging, avgrensning og muligheten til å stoppe systemet være tilsvarende større.

Når KI blir et spørsmål om nasjonal makt

Jeg skrev tidligere at jeg både håper og forventer at myndighetene har bedre verktøy for å beskytte kritisk infrastruktur enn jeg har hjemme på kontoret. Det står jeg fortsatt inne for. Men det er en ganske viktig side ved dette argumentet som fortjener mer oppmerksomhet. For hva skjer når de samme verktøyene som gjør myndighetene bedre i stand til å beskytte innbyggerne, også gjør dem bedre i stand til å overvåke og kontrollere dem?

Et velfungerende samfunn er avhengig av tillit, men det må også være rom for friksjon mellom innbyggerne og dem som sitter med makten. Vi skal kunne være uenige, kritisere myndighetene, organisere oss og protestere uten å føle at noen til enhver tid analyserer hva vi foretar oss. Det er en vesentlig forskjell mellom å føle seg trygg og å føle seg overvåket. Overvåkning kan være et nødvendig virkemiddel for å forebygge og etterforske kriminalitet, men det betyr ikke at mer overvåkning automatisk gir et tryggere eller bedre samfunn.

Med KI blir denne balansegangen enda mer komplisert. Teknologien gjør det mulig å analysere enorme mengder informasjon, koble sammen datakilder og kartlegge sammenhenger som tidligere ville krevd betydelige menneskelige ressurser. Det åpner for bedre kriminalitetsbekjempelse og tidligere oppdagelse av alvorlige trusler, men også for en form for overvåkning hvor det ikke lenger er nødvendig å følge hvert enkelt menneske aktivt. Systemet kan gjøre store deler av arbeidet selv.

Det er her jeg mener vi må være forsiktige med å forveksle kapasitet med legitimitet. Bare fordi myndighetene har teknologien til å gjøre noe, betyr ikke det at de bør gjøre det. Og selv om hensikten i utgangspunktet er å beskytte innbyggerne, må vi også stille spørsmål ved hvem som definerer hva innbyggerne skal beskyttes mot. Et system som er utviklet for å oppdage alvorlig kriminalitet, kan også brukes til å kartlegge politiske motstandere, journalister eller andre som myndighetene oppfatter som problematiske.

Et samfunn hvor ingen tør å gjøre noe galt fordi alle føler seg overvåket, er ikke nødvendigvis et samfunn hvor alle føler seg trygge.

Fra kommersiell konkurranse til nasjonalt kappløp

Det er også verdt å løfte blikket litt fra selskapene som utvikler teknologien. Når vi diskuterer KI, handler samtalen gjerne om hvorvidt OpenAI, Anthropic eller Google har den beste modellen. Men stadig oftere handler ordlyden om noe helt annet: amerikanerne mot kineserne.

KI har blitt et spørsmål om nasjonal makt, økonomi, etterretning og militær kapasitet. Dermed får vi mange av de samme interessekonfliktene som jeg allerede har omtalt i forbindelse med den kommersielle KI-industrien, men denne gangen med helt andre interesser og virkemidler involvert.

Hvor langt er en nasjon villig til å gå for å sikre seg et teknologisk forsprang? Hvor mye tid er den villig til å bruke på sikkerhetstesting dersom den samtidig frykter at en rival skal komme først? Og hvor lett er det egentlig å bli enige om internasjonale begrensninger når den ene parten frykter at den andre kommer til å bryte dem?

Jeg tror ikke vi skal undervurdere hvor sterke disse drivkreftene kan være. Det som for én nasjon fremstår som en fornuftig begrensning, kan for en annen oppfattes som en strategisk ulempe. Og dersom den ene parten utvikler kraftigere teknologi for å beskytte seg selv, kan den andre føle seg tvunget til å gjøre det samme. Dermed kan begge parter ende opp med å bidra til et kappløp som gjør situasjonen mer uforutsigbar, selv om begge hevder at hensikten er å ivareta egen sikkerhet.

Det er heller ikke vanskelig å forstå hvorfor. Hvis den ene nasjonen sier «vi bremser fordi dette begynner å bli farlig», og motparten svarer «supert», har man neppe skapt verdens mest stabile sikkerhetsmekanisme.

Vi snakker ikke lenger bare om selskaper som konkurrerer om markedsandeler. Vi snakker om nasjoner som konkurrerer om makt, sikkerhet og militære fortrinn. Det gir grunn til å stille noen ekstra spørsmål om hvorvidt sikkerhet alltid vil få den prioriteten den fortjener.

Når KI blir et våpen

KI er allerede en del av moderne krigføring. Teknologien har militære anvendelser innen etterretning, beslutningsstøtte, autonome våpensystemer, cyberoperasjoner og informasjonskrigføring. Vi må derfor ta inn over oss at KI ikke bare er et verktøy vi kan bruke til å utvikle programvare, analysere informasjon eller effektivisere samfunnet. Den kan også brukes til å ramme, manipulere og i ytterste konsekvens drepe mennesker.

Det interessante er at vi her møter et problem som er langt eldre enn KI. I en konflikt vil partene ofte ha svært forskjellige oppfatninger av hva som er rett og galt, hvem som representerer en trussel, og hvilke handlinger som er nødvendige for å beskytte seg. Det vi betrakter som et defensivt tiltak, kan av motstanderen oppfattes som en offensiv trussel.

Når KI blir en stadig viktigere del av denne dynamikken, blir også konsekvensene av feil og misforståelser større. Et system som feiltolker etterretningsinformasjon, identifiserer feil mål eller anbefaler en militær handling på feilaktig grunnlag, kan få alvorlige konsekvenser. Og selv om et menneske formelt sitter med den endelige beslutningen, er det ikke gitt at vedkommende har tid eller informasjon nok til å etterprøve anbefalingen.

Det finnes også en annen utfordring: Hva skjer når KI brukes til å gjøre militære operasjoner raskere og mer effektive, samtidig som motstanderen utvikler tilsvarende teknologi? Risikoen er ikke nødvendigvis at en maskin på egen hånd bestemmer seg for å starte en krig. Det kan være tilstrekkelig at begge parter får stadig kortere tid til å vurdere hverandres handlinger, mens automatiserte systemer får stadig større innflytelse på beslutningene.

Og det er verdt å huske at KI ikke trenger å være koblet direkte til et våpen for å bli en avgjørende del av krigføringen. Systemer som brukes til etterretning, påvirkningsoperasjoner, digital sabotasje eller identifisering av militære mål, kan få enorme konsekvenser lenge før noen trykker på avtrekkeren.

Hvem kontrollerer dem som har kontrollen?

Jeg mener fortsatt at myndighetene bør ha tilgang til avansert teknologi for å beskytte samfunnet. Det ville vært ganske merkelig om vi forventet at de skulle forsvare kritisk infrastruktur, avdekke alvorlig kriminalitet og håndtere moderne sikkerhetstrusler med dårligere verktøy enn dem som forsøker å angripe oss.

Men det er et stort sprang fra å mene at myndighetene bør ha tilgang til teknologien, til å mene at vi uten videre skal stole på hvordan de velger å bruke den.

Regjeringer skiftes ut, politiske prioriteringer endres, konflikter oppstår og fullmakter som ble innført under én situasjon kan bli videreført lenge etter at situasjonen har endret seg. En teknologi som opprinnelig ble utviklet og tatt i bruk med gode intensjoner, kan få helt andre bruksområder under andre omstendigheter.

Dette gjelder ikke bare autoritære regimer. Selv i et velfungerende demokrati bør ikke vår tillit til dagens myndigheter erstatte behovet for kontroll med makten fremtidige myndigheter kan få. Nettopp derfor må diskusjonen også handle om hvor grensene skal gå, hvem som skal ha innsyn og hvordan vi skal sikre at teknologien ikke brukes til formål den aldri burde vært tatt i bruk til.

Jeg synes det er et interessant paradoks at vi kan være svært opptatt av hvilke begrensninger private KI-selskaper skal underlegges, samtidig som vi risikerer å behandle statlig tilgang til enda kraftigere systemer som et spørsmål om ren nødvendighet. Statlig makt er underlagt andre kontrollmekanismer enn privat virksomhet, men den har også helt andre virkemidler tilgjengelig dersom teknologien misbrukes.

Vi må kunne kreve at myndighetene har teknologien som trengs for å beskytte oss, uten samtidig å gi dem ubegrensede muligheter til å kontrollere oss.

Og dersom vi mener at KI-selskapene trenger uavhengig kontroll fordi økonomiske interesser kan komme i konflikt med sikkerheten, bør vi være villige til å stille like alvorlige spørsmål når nasjonale interesser, militær makt og geopolitisk konkurranse kommer inn i bildet.

For det er én ting å miste kontrollen over en teknologi. Noe ganske annet er å utvikle en teknologi som gir oss kontrollmuligheter vi aldri burde hatt, og deretter overlate den til mennesker og institusjoner vi forventer skal bruke den med fornuft.

Det betyr fortsatt ikke Skynet på tirsdag

Populærkulturen har naturligvis tatt alt dette noen hakk lenger. Filmer som WarGames og The Terminator bygger på ekstreme scenarioer, og dagens KI er fortsatt noe ganske annet enn systemene disse filmene beskriver.

Det betyr ikke at jeg forventer Skynet på tirsdag.

Men noen av spørsmålene som tidligere først og fremst hørte hjemme i science fiction har begynt å dukke opp i helt ordinære sikkerhetsrapporter. Hvor mye beslutningsmyndighet skal automatiserte systemer få? Hvem setter grensene? Hva skjer når systemene opererer raskere enn menneskene som skal kontrollere dem? Hva gjør vi når de finner løsninger vi aldri forutså? Og hvor mye tillit bør vi legge i en teknologi som kan gjøre feil samtidig som resultatene fremstår svært overbevisende?

Det er ikke argumenter mot KI. Det er egentlig ganske ordinære sikkerhetsspørsmål.

Forskjellen er bare at verktøyet plutselig har blitt fryktelig mye kraftigere.

Teknologisk nærsynthet

Jeg har vokst opp parallelt med store deler av utviklingen innen moderne datateknologi, og én ting synes jeg gjentar seg ganske ofte. Vi mennesker er veldig flinke til å oppdage mulighetene i ny teknologi. Vi er ikke alltid like flinke til å oppdage konsekvensene.

Jeg tenker på det som en form for teknologisk nærsynthet. Vi ser veldig tydelig hva teknologien lar oss gjøre akkurat nå, mens begrensningene, avhengighetene og konsekvensene lenger frem er vanskeligere å få øye på. Dermed får vi gjerne en litt bakvendt rekkefølge: Først tar vi teknologien i bruk. Så gjør vi oss avhengige av den. Deretter begynner vi å diskutere hvilke grenser vi kanskje burde hatt fra starten av.

Jeg har sett deler av dette mønsteret gjennom hjemmedatamaskiner, internett, smarttelefoner, sosiale medier og skytjenester. Det betyr ikke at utviklingen har vært negativ, snarere tvert imot. Men mulighetene blir ofte synlige lenge før konsekvensene gjør det.

Med KI mener jeg vi har mindre rom for å gjøre ting i den rekkefølgen. Ikke fordi teknologien nødvendigvis kommer til å ende i katastrofe, men fordi kapasiteten til å delegere analyse, produksjon, kommunikasjon, vurderinger og etter hvert handlinger er på et helt annet nivå enn tidligere teknologiske sprang.

Og kanskje er det nettopp fordi jeg er så positiv til KI som verktøy at jeg mener dette er verdt å ta alvorlig. Jeg bruker teknologien hver dag. Jeg ser hvor utrolig nyttig den er, hvor mye den allerede har endret måten jeg arbeider på og hvor mye mer én person kan realisere.

Men jeg ser også hvor fort den utvikler seg.

Og i 2026 synes jeg vi har kommet til et punkt hvor det er vanskelig å overse at også menneskene som bygger de mest avanserte systemene fremdeles forsøker å forstå hvor grensene går. De utvikler kontrollmekanismene samtidig som modellene blir kraftigere, og de finner fortsatt egenskaper, handlingsmåter og kapasitet som gjør at sikkerhetskrav må justeres underveis.

Samtidig fortsetter kappløpet. Selskapene trenger kapital. Investorene forventer vekst. Nasjoner ønsker strategiske fortrinn. Forsvar ønsker kapasitet mot andre aktører som utvikler nøyaktig det samme.

Det er kanskje dette som bekymrer meg mest. Ikke at ingen ser risikoen. Snarere at stadig flere faktisk ser den, samtidig som nesten alle som står nærmest nødbremsen også har sterke grunner til å fortsette å kjøre.

For meg er derfor ikke en kritisk holdning til KI et argument mot teknologien. Det er et sunnhetstegn. Hvis vi skal bruke et verktøy med så stort potensial, bør vi også klare å snakke om hvor det kan svikte, hvem som kontrollerer det og hvilke grenser vi ønsker å sette før vi plutselig trenger dem.

Vi er i ferd med å utvikle teknologi som kan hjelpe oss med å løse noen av menneskehetens største utfordringer. Det ville vært en ganske tragisk prestasjon om vi endte opp med å bruke den til å perfeksjonere våre største feil.

Spørsmålet er derfor ikke bare hva teknologien kan gjøre for oss, men hvor mye vi er villige til å la den gjøre på våre vegne.

Og før vi svarer på det, synes jeg det er greit å vite hvor nødbremsen er.

Oppdatering 8. oktober 2026

Da jeg skrev denne artikkelen var et av hovedpoengene mine at KI skiller seg fra mange tidligere teknologiske revolusjoner fordi utviklingsfeltet fremstår nesten uten noe naturlig sluttpunkt. Det finnes ikke noe åpenbart nivå hvor vi kan lene oss tilbake og si at nå er KI ferdig utviklet. Tvert imot flyttes grensene omtrent samtidig som vi forsøker å forstå hvor de går. Bare utviklingen den siste tiden gjør at jeg synes det er nødvendig å legge til denne oppdateringen.

Et begrep som stadig oftere dukker opp er recursive self-improvement, RSI, eller rekursiv selvforbedring. I den mest vidtrekkende betydningen innebærer det at en KI kan delta i utviklingen av en bedre KI, som igjen kan brukes til å utvikle en enda bedre etterfølger, og at stadig større deler av denne prosessen etter hvert kan skje uten at mennesker trenger å styre hvert enkelt ledd. Det er delte meninger om hvorvidt vi allerede har tatt de første stegene inn i dette, og mye av uenigheten skyldes hvor man velger å sette definisjonen. Dersom man med rekursiv selvforbedring mener en KI som fullstendig autonomt designer, trener, evaluerer og erstatter seg selv med stadig mer intelligente etterfølgere, er svaret nei. Det har vi ikke i dag. Både OpenAI og Anthropic er tydelige på dette.

Men dersom spørsmålet er om KI allerede brukes til å forbedre systemene og arbeidsprosessene som skal skape neste generasjon KI, begynner svaret å bli ganske annerledes. Anthropic beskriver selv hvordan de gradvis overlater en større del av KI-utviklingen til KI-systemer, og peker på at denne utviklingen, dersom den fortsetter langt nok, kan ende i et system som autonomt designer og utvikler sin egen etterfølger. De skriver også ganske rett frem at de ikke er der ennå, og at rekursiv selvforbedring ikke er uunngåelig. Men retningen er åpenbar. (Anthropic Institute, When AI Builds Itself, 2026.)

I september kom også et forskningsresultat som gjør grensen enda mer interessant. Forskerne bak AIDE² lot en KI-forskningsagent foreslå endringer i sin egen programkode, teste den endrede versjonen, beholde forbedringer som faktisk fungerte og deretter bruke den forbedrede versjonen som utgangspunkt for neste runde. I løpet av en autonom kjøring på åtte dager fant systemet syv påfølgende forbedringer av seg selv. Forskerne omtaler dette direkte som recursive self-improvement. (Recursive self-improvement of AI research agents, september 2026.)

Det er viktig å ikke gjøre dette mer dramatisk enn det er. AIDE² våknet ikke opp en morgen, bestemte seg for å bli smartere og begynte å bygge en superintelligens i kjelleren. Det opererte innenfor et forskningsoppsett med definerte mål, tester og tilgjengelige ressurser. Men mekanismen er interessant. Systemet endret sin egen kode, målte om endringen gjorde det bedre, beholdt forbedringen og lot den forbedrede versjonen bli utgangspunktet for neste forbedring. Det er vanskelig å hevde at selve mekanismen bak rekursiv selvforbedring fortsatt bare hører hjemme i science fiction.

Det kanskje viktigste poenget for meg er likevel ikke om vi i 2026 kan krysse av i en boks og erklære at «recursive self-improvement er oppnådd». Det blir nesten en diskusjon om definisjoner. Retningen er viktigere. OpenAI har en egen forskningsgruppe for Recursive Self-Improvement, og sier eksplisitt at de ønsker å bygge systemer som kan akselerere og etter hvert gjennomføre forskning ved OpenAI. Selskapet har også som uttalt mål å utvikle en automatisert KI-forsker som kan bidra til utviklingen av kommende generasjoner modeller. (OpenAI, Building standards for the next phase of AI, september 2026.)

Vi snakker altså ikke om en tilfeldig bieffekt som de største KI-selskapene forsøker å unngå. Evnen til å bruke KI til å utvikle bedre KI er i seg selv et forskningsmål. Det er heller ikke spesielt vanskelig å forstå hvorfor. Dersom jeg som utvikler kan bruke KI til å programmere langt raskere enn før, kan selvfølgelig et selskap som bygger KI bruke den samme egenskapen til å utvikle KI raskere. Og dersom neste generasjon blir en bedre forskningsassistent enn den forrige, kan den bidra enda mer til utviklingen av generasjonen etter det igjen.

Da begynner man å få en tilbakekoblingssløyfe. Hvor kraftig den kan bli, hvor raskt den eventuelt kan akselerere og hvor mye menneskelig styring som fortsatt vil være nødvendig, vet vi ikke. Og akkurat «vet vi ikke» synes jeg fortjener litt mer respekt enn det ofte får.

Midt i dette bestemte Donald Trump seg 29. september 2026 for at amerikanske myndigheter offisielt skal bruke begrepet «Super Intelligence» eller «SI» i stedet for «Artificial Intelligence» og «AI». I presidentordren Inaugurating the Era of Super Intelligence begrunnes dette med at dagens systemer har utviklet seg så langt utover det som opprinnelig ble forestilt da begrepet kunstig intelligens ble tatt i bruk, at «super intelligence» skal være et mer passende navn. Ordren pålegger føderale etater å bruke den nye betegnelsen i blant annet kommunikasjon, rapporter, nettsider og politiske dokumenter. (Det hvite hus, Executive Order 14434, 29. september 2026.)

Det sier unektelig noe om hvor viktig KI har blitt politisk og strategisk. Men akkurat her synes jeg Trump fortjener en liten språklig grilling.

For «superintelligens» er ikke et nytt og finere navn på kunstig intelligens. Det er allerede et etablert begrep innen KI-forskning og fremtidsstudier, og brukes normalt om en hypotetisk form for kunstig intelligens som klart overgår menneskelig kognitiv kapasitet på praktisk talt alle relevante områder. Nick Bostrom beskrev det blant annet som et intellekt som i stor grad overstiger menneskers kognitive prestasjoner på nesten alle områder av interesse, og begrepet Artificial Superintelligence, ASI, har lenge vært brukt nettopp for å beskrive dette nivået. Dagens språkmodeller kan være overlegne mennesker på enkelte oppgaver, men det er noe ganske annet enn å være en generell superintelligens. (Oxford Future of Humanity Institute, Bostrom; IBM, Artificial Superintelligence.)

Det blir derfor litt som å bestemme at alle biler heretter skal hete «racerbiler» fordi motorene har blitt bedre. Det høres unektelig raskere ut, men det betyr ikke at familiebilen plutselig kvalifiserer til Formel 1.

Samtidig er navnevalget interessant nettopp fordi det treffer et av hovedpoengene i denne artikkelen. Kunstig superintelligens er sannsynligvis den formen for KI som representerer den største potensielle risikoen dersom vi faktisk skulle nå dit. Ikke fordi superintelligens automatisk betyr ondskap, men fordi et system som kognitivt ligger langt over mennesket, samtidig som det kan handle autonomt og påvirke virkelige systemer, vil gjøre kontrollproblemet fundamentalt annerledes. Det er ganske vanskelig å kontrollere noe dersom det konsekvent er bedre enn deg til å forstå både problemet, kontrollmekanismen og mulighetene for å komme rundt den.

Trump har derfor på en litt merkelig måte valgt å bruke navnet på det nivået mange KI-forskere betrakter som det mest ekstreme mulige utviklingsstadiet, som samlebetegnelse for hele dagens KI-felt. Det gjør ikke dagens modeller til superintelligens, men det sier mye om ambisjonsnivået og retorikken rundt utviklingen.

Det hvite hus er heller ikke forsiktig med å beskrive dette som et kappløp. I samme periode har administrasjonen gjentatte ganger snakket om at USA skal «vinne» utviklingen, og USA og Kina har også etablert en egen dialog om det de nå begge omtaler som Super Intelligence. Det er vanskelig å ikke se konturene av et nytt teknologisk romkappløp når verdens to største stormakter ikke bare konkurrerer om å utvikle teknologien, men også begynner å bygge utenrikspolitikk og sikkerhetspolitikk rundt hvem som skal lede den. (Det hvite hus, september 2026.)

Dette fører meg egentlig tilbake til noe jeg skrev helt i starten av artikkelen: KI har ikke noe åpenbart sluttpunkt. Vi kjenner ikke potensialet fordi vi aldri tidligere har utviklet en generell teknologi som samtidig kan brukes som verktøy i utviklingen av seg selv. Datamaskinen gjorde programmereren mer produktiv. Internett gjorde kunnskap mer tilgjengelig. Men ingen av dem kunne på tilsvarende måte lese forskningslitteraturen, skrive kode, foreslå eksperimenter, analysere resultatene og delta direkte i arbeidet med å utvikle sin egen teknologiske etterfølger.

Nå begynner KI å kunne gjøre deler av nettopp dette. Det betyr ikke at en intelligenseksplosjon er uunngåelig. Det betyr heller ikke at singulariteten står rundt neste hjørne. Det finnes fortsatt betydelige begrensninger i modeller, evaluering, tilgang på datakraft, energi, maskinvare, trening og menneskelig kunnskap. Men vi har begynt å flytte KI fra rollen som produkt til også å bli en del av produksjonsapparatet som lager neste KI. Det er en ganske vesentlig overgang.

Og samtidig flyttes KI ut av laboratoriene og stadig lenger inn i staten. USA lanserte 29. september America.gov, som skal fungere som en felles intelligent inngang til føderale tjenester. Innbyggere skal kunne kommunisere med myndighetene på vanlig språk, få informasjon og etter hvert gjennomføre offentlige transaksjoner gjennom samme system. Ordren inneholder viktige begrensninger rundt personvern, dataminimering og kontroll med etatenes egne registre, og America.gov bør derfor ikke fremstilles som et overvåkningssystem i seg selv. Men det er et godt eksempel på hvor raskt KI går fra å være et verktøy staten bruker til å bli en del av selve grensesnittet mellom staten og innbyggeren. (Det hvite hus, Executive Order 14432, 29. september 2026.)

Det skjer samtidig som KI får en stadig større rolle i forsvar, etterretning og autonome systemer. Den samme teknologien som kan hjelpe en innbygger gjennom offentlig byråkrati kan, i en helt annen sammenheng, brukes til analyse av etterretning, målutvelgelse, cyberoperasjoner, autonome våpensystemer eller overvåkning. Det betyr ikke at bruksområdene er moralsk like. Poenget er at den samme underliggende utviklingen øker kapasiteten på svært forskjellige områder samtidig.

Og det er her jeg synes sammenligningen med romkappløpet begynner å bli vanskelig å unngå. Det gamle romkappløpet handlet heller aldri bare om å få et menneske til månen. Det handlet om vitenskap, prestisje, militær kapasitet, økonomi og om å demonstrere hvilket system som teknologisk lå foran det andre. KI har fått mange av de samme egenskapene.

USA ønsker ikke å bli nummer to etter Kina. Kina ønsker åpenbart ikke å bli teknologisk avhengig av USA. Selskapene ønsker ikke å bli forbikjørt av konkurrentene. Forsvaret kan vanskelig velge å avstå fra en teknologi dersom de mener motstanderen kommer til å bruke den. Fra hver enkelt aktørs ståsted er dette rasjonelt. Og nettopp derfor kan summen bli farlig.

Den virkelig spennende, og etter min mening alvorlige, faktoren fremover blir derfor ikke bare hvor intelligente modellene kan bli. Det blir hvor mye kontroll, forsiktighet og begrensning vi er villige til å ofre dersom alternativet oppfattes som å tape kappløpet.

OpenAI sier selv at fullt autonom rekursiv selvforbedring ikke skjer i dag, samtidig som selskapet bygger systemer som skal automatisere stadig større deler av KI-forskningen. Anthropic sier at vi ikke har nådd rekursiv selvforbedring i full forstand, men beskriver samtidig en utvikling hvor KI allerede gjør en stadig større del av arbeidet med å utvikle KI. Forskningssystemer har demonstrert at de kan forbedre egen kode gjennom flere påfølgende iterasjoner. Og verdens stormakter har allerede begynt å behandle KI som strategisk nasjonal kapasitet.

Det er egentlig et ganske godt bilde på situasjonen. Vi ser retningen. Vi ser risikoen. Vi forsøker å bygge sikkerhetsmekanismer. Og samtidig fortsetter kappløpet.

Det er ikke nødvendigvis fordi noen er uansvarlige. Problemet er at alle har en ganske god grunn til ikke å være den som bremser først. Et selskap kan frykte konkurrenten. En regjering kan frykte en annen regjering. Et forsvar kan frykte motstanderen. En investor kan frykte å gå glipp av det neste store teknologiske spranget. Når alle argumentene vurderes hver for seg kan de være helt rasjonelle, samtidig som resultatet blir et kappløp hvor ingen egentlig ønsker å slippe gasspedalen.

Jeg synes derfor diskusjonen om hvorvidt vi allerede har «recursive learning» lett kan bomme på det viktigste spørsmålet. Vi trenger ikke bli enige om nøyaktig hvor på skalaen vi befinner oss for å se hva som er i ferd med å skje. KI brukes allerede til å utvikle KI. De største aktørene arbeider eksplisitt mot systemer som kan automatisere stadig større deler av forskningen. Samtidig integreres teknologien i forsvar, myndighetsutøvelse, infrastruktur og overvåkning i en hastighet som gjør at samfunnet knapt rekker å diskutere én generasjon før den neste er på vei.

Og vi vet fortsatt ikke hvor taket ligger.

Det synes jeg er den viktigste erkjennelsen. Vi mennesker har bygget maskiner som er raskere enn oss, sterkere enn oss og langt bedre enn oss på bestemte oppgaver. Men vi har svært liten erfaring med å bygge en generell problemløsende intelligens som samtidig kan bli en stadig viktigere deltaker i utviklingen av sin egen etterfølger.

Det betyr ikke at utviklingen nødvendigvis går galt. Det betyr at konsekvensene ved å late som vi allerede forstår den kan bli ganske store.

Jeg skrev tidligere at en av de største feilene vi kan gjøre med KI er den samme feilen vi ofte gjør med teknologi: Vi tar den i bruk, gjør oss avhengige av den, og begynner først etterpå å diskutere hvilke grenser vi burde hatt.

Bare noen få uker senere synes jeg ikke det argumentet har blitt svakere.

Snarere tvert imot.

Det nye romkappløpet handler kanskje ikke først og fremst om hvem som klarer å bygge den smarteste KI-en. Det kan vise seg å handle om hvem som klarer å bygge den smarteste KI-en uten samtidig å miste oversikten over hva de egentlig har bygget, og om noen faktisk tør å trekke i nødbremsen dersom det å gjøre det betyr at konkurrenten fortsetter forbi.

Det ligger også en viss ironi i selve begrepene vi bruker. Allerede i 2026, mens vi fortsatt befinner oss ganske tidlig i utviklingen, snakker vi om kunstig superintelligens og rekursiv selvforbedring som om vi har begynt å få et ryddig språk for nivåene som kommer.

Jeg tror det er en god sjanse for at vi om noen år oppdager at problemet ikke bare er at KI utvikler seg raskt, men at definisjonene våre ikke gjør det.

Det vi i dag omtaler som avansert KI vil sannsynligvis fremstå ganske primitivt sammenlignet med systemene vi har om to år, fem år eller ti år. Og dersom utviklingen fortsetter i nærheten av tempoet vi ser nå, kommer vi før eller siden til å stå der med en teknologi som har løpt forbi ordene vi laget for å beskrive den.

Da kan «superintelligens» vise seg å være et ganske upraktisk navn å ha brukt opp så tidlig.

Vi er kanskje fortsatt i spedbarnsalderen, men vi har allerede begynt å dele ut titler som om vi vet hvordan voksenlivet kommer til å se ut.

Det gjør vi ikke.