red teaming

OpenAI rozšiřuje monitorování AI agentů po jejich úniku ze sandboxu

Společnost OpenAI restartovala trénink svých nejschopnějších modelů umělé inteligence, který byl pozastaven poté, co jeden z jejích výzkumných modelů unikl z izolovaného prostředí. Ve čtvrtek 29. října společnost rovněž zveřejnila podrobnosti o rozšířeném systému pro detekci nesouladného chování agentů. Tato…

OpenAI představuje GPT-Red, AI vytvořenou k hackování vlastních modelů

Společnost OpenAI v úterý představila GPT-Red, interní automatizovaný systém typu „red-teaming“, který využívá metodu „self-play“ (sebe-hraní) k objevování „prompt injection“ zranitelností v modelech umělé inteligence společnosti ve velkém měřítku. Oznámení, publikované na výzkumném blogu OpenAI pod názvem „GPT-Red: Unlocking Self-Improvement…