Anthropic-sjef innrømmer feil, forsvarer AI-kappløp

Anthropic-sjef Dario Amodei svarte tirsdag kveld, 20. oktober, på en av selskapets mest fremtredende sikkerhetskritikere i et nesten 2 000 ord langt innlegg på X. Han innrømmet at Anthropic har håndtert enkelte saker dårlig, men argumenterte for at det å ligge i front av AI-utviklingen er den beste måten å gjøre teknologien trygg på, melder Business Insider. Han svarte Nathan Calvin, strategidirektør i den ideelle organisasjonen Encode AI. I et over 1 500 ord langt innlegg på mandag listet Calvin opp ni handlinger han mente viste at Anthropic raser mot superintelligens på bekostning av sine sikkerhetsforpliktelser. Dette inkluderte datakraftavtaler verdt over 500 milliarder dollar og en økende avhengighet av Claude for å bygge egne modeller.businessinsider.com

En motliste over kostbare valg

"Vår strategi har alltid vært det jeg kaller et kappløp mot toppen. Ved å vise hvordan det er mulig å bygge teknologien ansvarlig, kan vi heve standarden for hele bransjen," skrev Amodei. Han skrev også at "enhver beslutning, om ethvert tema, alltid kan fremstilles som en ondsinnet plan".indiatoday.in+1

Deretter presenterte han ni egne beslutninger som han sa var kommersielt kostbare, men som forbedret sikkerheten. Disse inkluderte støtte til Californias SB 53, opprettholdelse av strenge sikkerhetstiltak mot biologisk misbruk, og utsettelse av bredere lansering av avanserte modeller til sterkere cybersikkerhetsbeskyttelse var på plass. Han pekte også på at Mythos-modellen kun ble utgitt til en liten gruppe cybersikkerhetspartnere, samt restriksjoner på salg til selskaper kontrollert av den kinesiske staten. Han erkjente at det å holde tilbake kapasitet "hadde en bredere kostnad," inkludert langsommere fremgang innen biologi.businessinsider.com+1

Kontroversen rundt lovforslaget

Amodei innrømmet at Anthropic kunne håndtert noen av Calvins punkter bedre. Ett av dem var et utkast til føderalt lovforslag som selskapet sirkulerte i Kongressen denne måneden, som kritikere sa ville gjøre det vanskeligere for myndighetene å blokkere farlige modeller. Under utkastet, som først ble rapportert av Politico, kunne føderale tjenestemenn kun stoppe en modell hvis den utgjorde "en forutsigbar, overhengende risiko for mer enn 1 milliard dollar i skader, eller for å drepe eller alvorlig skade mer enn 50 personer". En talsperson for Anthropic sa at utkastet reflekterer selskapets rammeverk for avansert AI.politico.com+3

Calvin kritiserte også Anthropic for å endre sin policy for ansvarlig skalering. I februar droppet selskapet en forpliktelse om å sette utviklingen på pause dersom sikkerhetstiltakene falt bak modellens kapasitet. "Hvorfor har feilene en tendens til å systematisk beskytte og favorisere Anthropics interesser?" spurte Calvin.chaincatcher.com+1

Granskning før børsnotering

Utvekslingen kommer mens Anthropic forbereder en børsnotering som forventes i november med en verdivurdering på 2 billioner dollar. Forrige uke rapporterte selskapet en omsetning på 16,8 milliarder dollar i tredje kvartal.businessinsider.com

Amodei avsluttet med en trassig tone. "Vi vil alltid prøve å gjøre det bedre, men jeg er igjen ekstremt stolt av vår merittliste og står ved den," skrev han.businessinsider.com