Anthropic najímá experty na zbraně, aby chránili AI před zneužitím

Společnost Anthropic zahájila nábor analytiků pro vymáhání pravidel a odborníků, jejichž úkolem je zabránit tomu, aby její systémy AI byly zneužity k pomoci při výrobě zbraní hromadného ničení, páchání kybernetických útoků nebo finančních podvodů.

Společnost v posledních dnech zveřejnila řadu pracovních nabídek, v nichž hledá specialisty na radiologická a jaderná rizika, chemikálie a výbušniny, kyberkriminalitu a další kategorie hrozeb, jak jako první informoval server Axios a podrobně rozebral Yahoo Finance. Role, které nabízejí platy v rozmezí 200 000 až 300 000 dolarů, nevyžadují programátorské dovednosti – Anthropic místo toho vyžaduje reálnou odbornost v oborech, jako je jaderná fyzika, biologie a výbušniny, spolu se schopností přemýšlet jako útočník hledající slabá místa v obraně společnosti.thenextweb+1

Rostoucí bezpečnostní aparát

Jeden inzerát na pozici „Analytik vymáhání bezpečnostních opatření, radiologická a jaderná rizika“ vyžaduje kandidáty se zázemím v jaderném inženýrství nebo zdravotnické fyzice a zkušenostmi s nešířením zbraní hromadného ničení nebo zpravodajskou činností v oblasti hrozeb. Další pozice, zaměřená na kybernetické hrozby, žádá analytiky, aby detekovali a zmírňovali pokusy o zneužití modelů Anthropic pro škodlivé kybernetické operace. Společnost také najímá vědecké pracovníky v oblasti biologické bezpečnosti s doktorátem z virologie, mikrobiologie nebo příbuzných oborů, aby „definovali, jak vypadá zodpovědná bezpečnost AI v biologické doméně“.job-boards.greenhouse+2

Mluvčí společnosti Anthropic pro The Next Web uvedl, že „zajištění toho, aby naše modely neposkytovaly potenciálně škodlivé informace, je ústředním bodem zodpovědného vývoje,“ a dodal, že na bezpečnosti nyní pracují stovky zaměstnanců. BBC již dříve v tomto roce informovala, že Anthropic hledá experta na chemické zbraně a vysoce účinné výbušniny, aby zmírnil to, co nazval „katastrofickým zneužitím“ své technologie.bbc+1

Opakovaná varování Daria Amodeie

Tento náborový tlak úzce souvisí s varováními generálního ředitele Daria Amodeie, který většinu uplynulého roku strávil upozorňováním na rizika spojená s pokročilou AI. V lednové eseji Amodei napsal, že biologické útoky ho znepokojují nejvíce, a poznamenal, že „při započítání milionů lidí a několika let si myslím, že existuje vážné riziko velkého útoku s počtem obětí potenciálně v milionech nebo více“. Varoval také před šestiměsíčním až dvanáctiměsíčním oknem pro firmy a vlády na opravu softwarových zranitelností, které nejnovější modely Anthropic identifikovaly.axios+2

Samoregulace v legislativním vakuu

Anthropic není v tomto úsilí sama. OpenAI také najímá výzkumníky zaměřené na biologická a chemická rizika s platy až 445 000 dolarů. Tento paralelní tlak podtrhuje neobvyklou dynamiku v odvětví AI: společnosti, které budují nejvýkonnější modely, jsou zároveň těmi, které nabírají zaměstnance, aby na ně dohlíželi, a to v absenci komplexní federální legislativy o bezpečnosti AI. Amodei toto napětí uznal a označil samotné společnosti zabývající se AI za úroveň rizika těsně pod úrovní nepřátelských států.thenextweb