Anthropic aktualizuje pravidla: zakazuje zneužívání modelu Claude

Společnost Anthropic ve čtvrtek 8. října zveřejnila aktualizaci svých pravidel užívání. Jde o první revizi pravidel za více než rok a přidává pravidlo proti "trvalému a zbytečnému zneužívání nebo krutému chování" vůči modelům Claude. Aktualizace také shromažďuje stávající pravidla proti klamavým kampaním do jedné sekce a jasněji definuje, co se považuje za zakázanou práci na zbraních a sledovacích systémech. Pravidla vstupují v platnost 12. listopadu 2026.unite+2

Společnost uvedla, že většina změn pouze upřesňuje již existující pravidla. Revize podle ní odráží rok, během kterého Claude začal vykonávat delší a samostatnější práci, a zohledňuje zpětnou vazbu od zákazníků i vzorce zneužívání popsané v zářijové zprávě o kybernetických hrozbách.anthropic+1

Pravidlo na ochranu modelu

Anthropic uvedl, že pravidlo proti zneužívání "je určeno pouze pro extrémní případy, kdy uživatelé opakovaně jednají krutě vůči našim modelům bez jakéhokoli zjevného účelu." Dodal, že pravidlo "se nevztahuje na běžné projevy frustrace uživatelů, nesouhlas, temná kreativní témata nebo testování a výzkum modelů". Hlavním způsobem vymáhání tohoto pravidla bude funkce spuštěná v srpnu 2025: Claude může ukončit konverzaci s trvale urážlivými uživateli. Anthropic tuto funkci vyvinul jako součást svého výzkumu potenciálního "blaha modelů". Podle serveru The Verge společnost neuvedla, zda mohou následovat další sankce, jako je zablokování účtu.theverge+1

Změna přichází v době, kdy Anthropic nadále zkoumá, zda jeho modely mohou mít určitou formu vnitřního prožitku. Generální ředitel Dario Amodei v únorovém podcastu řekl: "Nevíme, zda jsou modely vědomé". Jiné společnosti s tím nesouhlasí. Návrh etického kodexu Microsoft AI, který v září zveřejnil Mustafa Suleyman, uvádí: "Myšlenka blaha modelů je chybná".theverge

Klamání, zbraně a sledování

Nová sekce s názvem "Nezapojujte se do klamavých kampaní nebo umělé aktivity" sjednocuje pravidla, která byla dříve roztroušena v celém dokumentu. Pokrývá skrývání identity odesílatele zpráv, propagaci obsahu prostřednictvím falešných účtů a vytváření nástrojů pro ovlivňovací operace. Anthropic uvedl, že státní média, vládní propagandistické úřady a komerční firmy využívaly Claude k provozování těchto sítí. Společnost také zrušila plošný zákaz personalizovaného cílení volební kampaně s tím, že toto pravidlo blokovalo legitimní občanskou práci, jako je překlad informací pro voliče.unite

Sekce o zbraních nyní výslovně zahrnuje "software a komponenty, které umožňují fungování zbraní," včetně vyzbrojování dronů a dalších autonomních vozidel. Anthropic uvedl, že zaznamenal pokusy o využití modelu Claude k vývoji naváděcího a řídicího softwaru pro zbraně. Pravidla zakazují sledování osob bez jejich souhlasu. Rovněž zakazují využívat Claude k rozhodování nebo doporučování, koho vyšetřovat, zatknout nebo obvinit. Smlouvy s některými vládními zákazníky mohou tato omezení stále upravovat, pokud Anthropic posoudí bezpečnostní opatření jako dostatečná, uvedl server The Verge.theverge

Ovládání hardwaru

Nový požadavek se vztahuje na modely připojené k hardwaru, který může samostatně provádět fyzické akce a mohl by způsobit zranění. "Kvalifikovaný operátor musí být schopen zařízení sledovat a v případě potřeby jej zastavit," a zařízení musí být schopno udržet bezpečný stav, pokud je Claude odpojen.unite+1