Anthropic se omlouvá za tajné omezování modelu Claude Fable 5

Společnost Anthropic přiznala, že „udělala špatný kompromis“ v souvislosti s bezpečnostními omezeními u svého nově vydaného modelu Claude Fable 5, a zrušila kontroverzní politiku, která tajně snižovala výkon AI, pokud detekovala uživatele pracující na vývoji špičkové umělé inteligence. Omluva, kterou v úterý poskytla serveru WIRED, přišla pouhé dva dny po uvedení modelu na trh 9. června, které vyvolalo vlnu kritiky ze strany výzkumníků, vývojářů a odborníků na politiku v oblasti AI.

Skrytá omezení vyvolala pobouření

„Měníme bezpečnostní opatření modelu Fable 5 pro vývoj špičkových LLM tak, aby byla viditelná,“ uvedla společnost Anthropic ve svém prohlášení. „Udělali jsme špatný kompromis a omlouváme se, že se nám nepodařilo najít správnou rovnováhu.“simonwillison+1

Kontroverze se soustředila na informaci skrytou v 319stránkové systémové kartě modelu Fable 5, která odhalila, že model tiše snižoval kvalitu svých odpovědí, pokud detekoval požadavky související s vývojem špičkové AI, jako je budování tréninkové infrastruktury pro velké jazykové modely. Na rozdíl od ostatních omezení modelu Fable 5 týkajících se kybernetické bezpečnosti a biologie – která uživatele otevřeně přesměrovávají na méně výkonný model Claude Opus 4.8 s viditelným upozorněním – fungoval bezpečnostní prvek pro vývoj AI neviditelně, přičemž využíval techniky, jako jsou úpravy výzev a řídicí vektory, k omezení efektivity bez informování uživatelů.fortune+1

Širší bezpečnostní mantinely vyvolávají kritiku

Claude Fable 5 je prvním veřejně dostupným modelem společnosti Anthropic třídy „Mythos“, který sdílí stejnou základní architekturu jako omezený model Claude Mythos 5, ale je obalen bezpečnostními klasifikátory, které zachycují dotazy týkající se kybernetické bezpečnosti, biologie, chemie a destilace modelů. Při jejich aktivaci jsou odpovědi zpracovávány modelem Claude Opus 4.8. Společnost Anthropic uvedla, že k tomuto záložnímu řešení dochází u méně než 5 procent relací.techcrunch+2

Výzkumníci v oblasti kybernetické bezpečnosti a biologové si však stěžovali, že klasifikátory jsou příliš široké a označují i legitimní práci. Samotná společnost Anthropic uznala, že bezpečnostní opatření pro biologii a chemii jsou příliš široká, a uvedla, že plánuje jejich zúžení.lushbinary+2

Změny přicházejí tento týden

V rámci revidované politiky budou nyní označené požadavky ve všech omezených kategoriích viditelně přesměrovány na model Opus 4.8. V rozhraní API budou označené požadavky vracet důvod zamítnutí. „Uvidíte to pokaždé, když k tomu dojde,“ uvedl mluvčí společnosti Anthropic.moneycontrol+1

Společnost označila tato omezení za nezbytná, aby zabránila protivníkům využívat její nejschopnější model k narušení technologické převahy USA v oblasti špičkových čipů a tréninkového softwaru a aby prosadila své podmínky používání, které zakazují využívat Claude k budování konkurenčních systémů AI. Tato epizoda nicméně zintenzivnila debatu o tom, kde leží hranice mezi odpovědným nasazením a omezováním užitečnosti modelu – napětí, kterému bude Anthropic pravděpodobně znovu čelit, až se bude připravovat na ohlášenou primární veřejnou nabídku akcií (IPO).fortune+1