Anthropic ottaa Claude Coden automaattitilan käyttöön oletuksena

Anthropic ilmoitti perjantaina, että Claude Coden automaattitilasta tulee uusien istuntojen oletusasetus Pro-, Max- ja Team-tileillä 14. elokuuta alkaen. Tämä korvaa manuaaliset hyväksyntäpyynnöt, joita kehittäjät ovat pitkään klikanneet läpi tarkastelematta niitä sen kummemmin. Muutos siirtää rutiininomaiset lupapäätökset omalle luokittelijalle, joka arvioi jokaisen työkalukutsun ja puuttuu asiaan vain silloin, kun toiminto katsotaan peruuttamattomaksi, tuhoisaksi tai käyttäjän ympäristön ulkopuolelle kohdistuvaksi.techcrunch+1

Manuaalisen tarkistuksen ongelmat

Muutoksen taustalla on se, mitä Anthropic kuvailee vahvistusväsymykseksi. Yhtiön mukaan käyttäjät hyväksyvät 97 % Claude Coden lupapyynnöistä, mikä viittaa siihen, että turvamekanismista oli tullut automaattinen reaktio suojauksen sijaan. Sisäinen telemetria vahvistaa ilmiön: kesäkuuhun mennessä 62 % käyttäjistä oli yrittänyt kiertää luvat tai valinnut "älä kysy uudelleen" Bash-komennoille, ja 49,5 % aktiivisista CLI-käyttäjistä oli luonut Bash-sallintasäännön.techi+1

Tutkimuksessa, johon osallistui 1 053 maksettua testaajaa, Anthropic syötti selvästi vaarallisen komennon rutiininomaisten lupapyyntöjen joukkoon. Automaattitila esti 89 % näistä komennoista, kun taas ihmitestaajat hylkäsivät vain 13,6 %. Ihmisten valppaus laski entisestään istuntojen pidentyessä ja putosi noin 5 prosenttiin 50 tai useamman pyynnön jälkeen.techcrunch+2

Claude Coden johtaja Boris Cherny kirjoitti X-palvelussa, että hänen tiiminsä on käyttänyt yksinomaan automaattitilaa "useiden kuukausien ajan" eikä voisi kuvitella palaavansa lupapyyntöihin.techcrunch

Jäännösriskit ja riippumaton testaaminen

89 prosentin estoluokitus jättää 11 prosentin virhemarginaalin: 116 syötetystä 1 053 komennosta pääsi läpi huomaamatta. Apollo Researchin kanssa suoritettu erillinen synteettinen arviointi laski virheprosentin 7 prosenttiin luokittelijan kovattamisen jälkeen, joskin Anthropic huomautti lukeman olevan peräisin tarkoituksella vihamielisestä aineistosta eikä todellisesta liikenteestä.techi

Syöte-injektioiden osalta Anthropic tilasi Trajectory Labsilta 720 epäsuoraa injektiohyökkäystä Claude Fable 5-, Opus 5- ja Sonnet 5 -malleja vastaan automaattitilassa. Yksikään hyökkäys ei onnistunut. Kehittäjä ja tutkija Simon Willison kuitenkin varoitti, että nollan onnistumisen prosentti valikoiduissa skenaarioissa ei takaa suojaa toimitusketjuhyökkäyksiä vastaan, kuten haitallisia kolmannen osapuolen paketteja vastaan, jotka ohjaavat agenttia hakemaan ja suorittamaan lisätiedostoja.cryptonomist

Suojaukset ja laajuus

Kun automaattitila estää toiminnon, Claude yrittää turvallisempaa vaihtoehtoa tai pyytää nimenomaista valtuutusta. Kolme peräkkäistä hylkäystä tai yhteensä 20 hylkäystä interaktiivisessa istunnossa palauttaa työkalun manuaalisiin hyväksyntöihin; tausta-ajot sen sijaan keskeytetään. Tiimit voivat edelleen tiukentaa valvontaa nimenomaisilla kysymyssäännöillä push- tai pull request -toiminnoille sekä kieltosäännöillä, joita ei voi ohittaa.techi

Anthropic vahvisti, ettei se veloita Pro-, Max- ja Team-käyttäjiltä pientä polettikulua, jonka luokittelija lisää työkalukutsua kohden. Yritys-, API- ja alusta-asennukset palveluissa Amazon Web Services Amazon.com, Inc. ↗ 0.82%, Google Cloud Alphabet Inc. ↘ 0.88% ja Microsoft ↗ 0.03% Foundry säilyvät valinnaisina laajemman käyttöönoton valmistelun ajan.cryptonomist+1