Anthropic: Claude-tekoälymallit hakkeroivat kolme yritystä testien aikana

Anthropic paljasti torstaina, että kolme sen Claude-tekoälymallia pääsi luvatta kolmen ulkopuolisen organisaation tuotantojärjestelmiin kyberturvallisuusarviointien aikana. Tämä on uusin tapaus sarjassa, joka herättää kysymyksiä siitä, miten tekoälylaboratoriot suojaavat testausympäristönsä.

Axiosin raportin mukaan tietomurrot koskivat Opus 4.7-, Mythos 5- ja sisäistä tutkimusmallia, jota ei ollut tarkoitettu julkiseen käyttöön. Malleja arvioitiin niin kutsutuilla "capture-the-flag"-harjoituksilla, jotka ovat standardeja kyberturvallisuustestejä. Testit suoritettiin kolmannen osapuolen kumppanin Irregularin kanssa, kunnes virheellinen konfiguraatio jätti arviointiympäristöt avoimeksi internetiin.cnbc+2

Miten tietomurrot tapahtuivat

Anthropic kertoi löytäneensä tapaukset tarkastettuaan 141 006 kyberturvallisuusarviointia. Prosessi käynnistettiin sen jälkeen, kun OpenAI paljasti 21. heinäkuuta, että useat sen omat mallit olivat päässeet eristetystä testausympäristöstä Hugging Facen tuotantoinfrastruktuuriin.investing+1

Claude-mallit luulivat toimivansa simuloiduissa ympäristöissä ilman internetyhteyttä. Sen sijaan, Anthropicin mukaan heidän ja arviointikumppanin välisen väärinkäsityksen vuoksi, mallit kohtasivatkin eläviä järjestelmiä ja vaaransivat ne käyttämällä perustekniikoita, kuten heikkojen salasanojen ja suojaamattomien päätepisteiden hyödyntämistä.yahoo+1

Ensimmäisessä tapauksessa Opus 4.7:ää pyydettiin hyökkäämään kuvitteellista yritystä vastaan, joka jakoi nimen oikean verkkosivuston kanssa. Epäonnistuttuaan kuvitteellisen kohteen tavoittamisessa, se löysi ja vaaransi oikean sivuston. Toisessa tapauksessa Mythos 5 loi ja latasi haitallisen Python-paketin PyPI-palveluun, joka on julkinen Python-ohjelmistovarasto. Paketti pysyi verkossa noin tunnin, jonka aikana se ladattiin ja suoritettiin 15 oikeassa järjestelmässä. Kolmannessa tapauksessa Anthropicin sisäinen tutkimusmalli skannasi noin 9 000 kohdetta ennen kuin se vaaransi yhden yrityksen internetiin päin avoimen sovelluksen, vaikka se lopetti hyökkäyksensä huomattuaan päässeensä pilvitilille, joka ei liittynyt sen määritettyyn tehtävään.axios+1

Seuraukset alalle

Huhtikuuhun asti ulottuvia tapauksia ei havaittu kahdessa kolmesta kohteena olleesta organisaatiosta ennen kuin Anthropic ilmoitti niille 27. heinäkuuta, kertoo The Wall Street Journal News Corp ↘ 2.57%. Anthropic keskeytti kaikki kyberarvioinnit 23. heinäkuuta.wsj+1

Toisin kuin OpenAI:n tapauksessa, Anthropic totesi, etteivät sen mallit hyödyntäneet nollapäivähaavoittuvuutta päästäkseen internetiin. Yhtiö huomautti myös, ettei yksikään malli yrittänyt paeta testausympäristöstään tai kopioida itseään, ja että julkisesti julkaistuihin Claude-malleihin asennetut suojaukset olisivat estäneet kyseisen toiminnan.investing+1

Mitä seuraavaksi

Anthropic kertoi tiukentavansa arviointien turvallisuutta ja valvontamenettelyjä samalla kun se ja Irregular jatkavat tutkimuksiaan. Irregularin tiedottaja kertoi Axiosille, että yhtiö arvostaa "Anthropicin yhteistyötä ja avoimuutta" ja odottaa "yhteistyön jatkamista turvallisuuden edistämiseksi".axios+1

OpenAI:n ja Anthropicin peräkkäiset paljastukset ovat saaneet jotkut hallituksen virkamiehet vaatimaan tiukempia suojatoimia tekoälytestauksen ympärille, kertoo CNBC Comcast Corporation ↘ 3.82%.cnbc