Anthropic-grundare kräver obligatorisk nödstopp för AI

Jack Clark, medgrundare av Anthropic, sa till BBC på måndagen att regeringar bör överväga att kräva att AI-företag bygger in oberoende verifierbara "nödstopp" i sina system. Detta tillför regulatorisk tyngd till en växande våg av oro inifrån branschen gällande takten i utvecklingen av artificiell intelligens.bbc

Clark sa att även om de flesta stora AI-laboratorier, inklusive Anthropic, redan har interna mekanismer för att stänga av sin programvara, kanske frivilliga skyddsåtgärder inte räcker. "Bör företag krävas att ha ett nödstopp? Är det nödstoppet föremål för verifiering av en tredje part?" sa Clark i intervjun och kallade dessa frågor centrala för "den bredare politiska dialogen" kring AI.bbc

En vecka av larm

Uttalandena markerar slutet på en turbulent period för Anthropic och AI-sektorn i stort. Den 8 september uttalade sig Anthropic-forskaren Evan Hubinger offentligt om att han anser att det finns en större än 10-procentig risk för mänsklighetens utplåning på grund av AI inom det närmaste decenniet, en siffra som nobelpristagaren Geoffrey Hinton sa till BBC var "inte orimlig". Dessa kommentarer följde på forskaren Jacob Coxons avhopp, som anklagade AI-laboratorier för att "kapplöpa rakt mot självförbättrande superintelligens och spela med våra liv".bbc+2

I lördags publicerade Anthropic-vd:n Dario Amodei en 3 800 ord lång essä där han efterlyste en bred inbromsning i utvecklingen av AI-kapacitet, med argumentet att branschen behöver "ett till två år extra" för att implementera skyddsåtgärder. Essän fick snabbt stöd från OpenAI-vd:n Sam Altman, Elon Musk och Google Alphabet Inc. ↗ 3.06% DeepMind-chefen Demis Hassabis. President Donald Trump avfärdade varningarna på söndagen, liknade kritikerna vid "mycket negativa krafter" och insisterade på att USA måste behålla sitt försprång inom tekniken.cbc+2

Börsnotering närmar sig

Clarks krav på reglering kommer vid en kommersiellt laddad tidpunkt för Anthropic, som förbereder en börsnotering så tidigt som i oktober. Investerare förväntar sig att företaget kan värderas till cirka 2 biljoner dollar, enligt Financial Times – en siffra som skulle göra det till den största börsnoteringen i historien. Investerare uppgav för FT att Anthropics årliga intäkter är på väg att nå mellan 100 och 120 miljarder dollar vid slutet av 2026, en ökning med mer än tio gånger under året.qz+1

Clark erkände spänningen mellan att kräva begränsningar och att verka på en hårt konkurrensutsatt marknad. Han varnade för att det är en farlig väg att låta AI förbli en "helt oreglerad bransch". "Vi kastar tärning med enorma risker", sa han. "Poängen är att vi måste ändra riktningen för den här branschen".bbc