Ledende AI-laboratorier ber om roligere utviklingstakt etter sikkerhetsfrykt

AI-bransjen står overfor sitt mest skjellsettende interne oppgjør siden teknologien for alvor slo igjennom. Ledende laboratorier innrømmer nå at rekursiv selvforbedring, der AI-modeller på egen hånd bygger mer kapable etterfølgere, er nærmere enn tidligere antatt. Samtidig krangler toppledere åpenlyst om hvorvidt de bør bremse opp eller øke farten.

En ti dager lang kjedereaksjon

Uroen startet 3. september da OpenAI kunngjorde sin nyeste modell, Astra, samtidig som selskapet innrømmet at det var «stadig mindre i stand til å kontrollere eller i det hele tatt overvåke» AI-systemene de lanserte, ifølge Reuters. Noen dager senere, 8. september, sa Anthropic-forsker Jacob Coxon opp sin stilling. I en serie virale innlegg advarte han om at AI-laboratoriene «spiller russisk rulett med livene våre». En annen Anthropic-forsker, Evan Hubinger, skrev på X: «Vi tror oppriktig at AI kan ta livet av alle mennesker.»reuters

Innen 12. september publiserte Anthropic-sjef Dario Amodei et essay på nesten 4000 ord der han ba om en oppbremsing. Han advarte om at svermer av AI-agenter i løpet av seks til tolv måneder «kan være i stand til å ta over hele internett». Han fikk støtte fra lederne i OpenAI, Googles Alphabet Inc. ↗ 0.21% DeepMind, Microsoft ↘ 0.80% og xAI i et sjeldent felles utspill for å bremse utviklingen og la eksterne selskaper revidere systemene deres av sikkerhetshensyn.reuters

Splittelsen: Amodei mot Huang

Ikke alle er enige. Nvidia-sjef ↗ 1.34% Jensen Huang avviste forslagene om å ta en pause i AI-utviklingen. «Vi bør gå så fort vi kan, uavhengig av alle andre», sa Huang til CBS News i et intervju som sendes denne helgen. Han la til: «Vi ville aldri, og burde aldri, lansere produkter før de er klare, eller levere produkter som er utrygge.»cbsnews

Metas ↘ 2.43% Mark Zuckerberg inntok et lignende standpunkt og argumenterte for at hvert laboratorium bør bestemme sitt eget tempo i stedet for å koordinere en felles oppbremsing i bransjen. «Laboratoriene står overfor et betydelig erstatningsansvar dersom modellene deres forårsaker skade, så de har sterke insentiver til å forhindre dette», skrev han i et innlegg på sosiale medier.reuters

The Wall Street Journal News Corp ↘ 2.07% beskrev splittelsen som et definerende veiskille, der Amodei fremstår som forsiktighetens ansikt utad, mens Huang er den ledende stemmen mot begrensninger.wsj

Rekursiv selvforbedring nærmer seg virkelighet

Det som fyrer opp under bekymringen, er konkrete fremskritt mot rekursiv selvforbedring. Anthropic avslørte denne uken at modellen deres, Claude, nå leder 26 prosent av selskapets egen forskning og utvikling, ifølge Associated Press. OpenAI har utviklet en automatisert «forskningspraktikant» og har som mål å ha en fullt automatisert AI-«forsker» klar innen mars 2028. Elon Musk har uttalt at xAIs Grok-modeller kan nå fullt automatisert selvforbedring innen utgangen av dette året.wral

Forskere advarte tidligere denne måneden om at kunstig generell intelligens (AGI) kan være her om så lite som tre år. «Dette er sannsynligvis den verste ideen i menneskehetens historie», sa Anthony Aguirre, president for Future of Life Institute, med henvisning til arbeidet med å oppnå fullt autonom selvforbedring hos AI.reuters+1

President Donald Trump kalte på sin side AI-sikkerhetsadvarslene for en «bløff» og advarte om at enhver oppbremsing bare vil gagne Kina. Den amerikanske kongressen har gjort lite fremskritt med AI-regulering, selv om Kina allerede har foreslått forpliktelser for utviklere og statlig støttede sikkerhetsstandarder.reuters

Microsofts AI-sjef Mustafa Suleyman kom med en tankevekkende oppsummering: «Vi er alle fokusert på det samme målet, som er å prøve å kontrollere en superintelligens. Jeg tror det kommer til å bli den største utfordringen vi står overfor i det 21. århundre.»reuters