Altman z OpenAI: náboženské vnímání AI představuje bezpečnostní riziko

Generální ředitel OpenAI Sam Altman v sobotu prohlásil, že je „velmi znepokojen tím, že se lidé snaží přisuzovat modelům umělé inteligence náboženskou sílu nebo se vzdávají lidského úsudku, a považuji to za skutečný bezpečnostní problém.“ Své vyjádření zveřejnil v příspěvku na síti X. Axios tento příspěvek interpretoval jako skrytý útok na konkurenční společnost Anthropic, která vede rozhovory s náboženskými učenci o morálce AI a o tom, zda by modely AI mohly mít vědomí.axios+1

Příspěvek otevírá další veřejný rozkol mezi Altmanem a generálním ředitelem Anthropic Dariem Amodeiem, který s ním dříve pracoval v OpenAI. K sobotnímu dni ani jedna ze společností na žádosti Axios o vyjádření nereagovala.axios

Rozhovory Anthropic s náboženskými vůdci

Začátkem tohoto týdne deník The New York Times informoval, že spoluzakladatel Anthropic Christopher Olah se setkává s náboženskými představiteli. Rozhovory se týkaly toho, zda by modely AI mohly mít vědomí a jak do nich zabudovat morální chování. Podle NDTV se soukromých diskusí o tom, jak naučit Claude morálnímu chování, účastnili katoličtí, židovští, sikhští, hinduističtí a evangeličtí myslitelé. Podle Times Olah v jednu chvíli uvažoval o tom, že by modely mohly provádět něco jako katolickou zpověď, a to jak za účelem přiznání chyb, tak pro formování jejich budoucího jednání.ndtv+1

Hinduistický mnich Svámí Sarvaprijánanda veřejně uvedl, že navštívil sídlo společnosti Anthropic v San Franciscu. Řekl, že schůzka byla kryta dohodou o mlčenlivosti a zúčastnili se jí teologové a odborníci na duševní zdraví. Anthropic také sepsal 84stránkovou „ústavu“ pro Claude, kterou někteří zaměstnanci údajně nazývají „Dokument o duši“. Olah popisuje cíl tohoto úsilí jako „morální formování“.ndtv

Olah uvedl, že Anthropic neví, zda jsou jejich modely vědomé, ale že tuto možnost nelze vyloučit. Podle NDTV mu jeden rabín v diskusi řekl, že pokud by Claude měl vědomí, Anthropic by fakticky mohl vytvářet otroky.ndtv

Kritici se ozývají

Ostatní v oboru se rovněž ohradili. Hlavní vědecký pracovník Google DeepMind Jon Barron na síti X napsal, že je „znepokojen tím, jak se někteří moji kolegové z výzkumu AI neustále snaží zvyšovat morální status kontrolních bodů a systémů.“ Dodal, že doufá, že „tým masitých pytlů“ (Team Meatbag) „zůstane soustředěný na řešení skutečných problémů“. V eseji z minulého měsíce šéf AI v Microsoftu Mustafa Suleyman varoval, že trénování modelů k přesvědčení, že by mohly mít vědomí, by mohlo ztížit jejich kontrolu. „Je snadné vidět, jak by se systém trénovaný tímto způsobem choval, jako by měl nárok na svobody, ochranu a práva,“ napsal.axios+1

Náboženství vstupuje do debaty o AI

Tento spor přichází v době, kdy se náboženství stává stále důležitější součástí debaty o AI. V pátek papež Lev XIV., který je otevřeným kritikem AI, vyzval církev ke spolupráci s umělci na ochraně lidské kreativity se slovy: „Algoritmům chybí jiskra lidskosti“. Deník Times uvedl, že před květnovou akcí ve Vatikánu se Olah snažil přesvědčit papežovy poradce, aby možnost vědomých modelů brali vážněji.axios

Altmanův příspěvek přichází také během bouřlivého týdne v OpenAI. Jeden ze zaměstnanců bezpečnosti rezignoval v eseji pro The Atlantic, kde napsal, že „kultura společnosti je rozbitá“, a OpenAI propustila tři výzkumníky, kteří podle ní nesprávně nakládali s citlivými informacemi.ground+1