Přední AI laboratoře vyzývají ke zpomalení vývoje kvůli obavám o bezpečnost

Odvětví umělé inteligence prochází nejzásadnějším vnitřním zúčtováním od doby, kdy se tato technologie dostala do širšího povědomí. Přední laboratoře totiž uznávají, že rekurzivní sebezdokonalování, tedy proces, při němž modely AI autonomně vytvářejí své schopnější nástupce, je blíž, než se dříve myslelo. Špičkoví manažeři se přitom veřejně střetávají v názoru na to, zda vývoj zpomalit, či zrychlit.

Desetidenní řetězová reakce

Otřesy začaly 3. září, kdy společnost OpenAI oznámila svůj nejnovější model Astra, přestože zároveň přiznala, že je „stále méně schopna kontrolovat nebo vůbec monitorovat“ systémy AI, které vydává, uvedla agentura Reuters. O několik dní později, 8. září, rezignoval výzkumník společnosti Anthropic Jacob Coxon, který v sérii virálních příspěvků varoval, že laboratoře AI „hazardují s našimi životy“. Další výzkumník z Anthropicu, Evan Hubinger, na síti X napsal: „Opravdu upřímně věříme, že by AI mohla zabít všechny lidi.“reuters

Do 12. září zveřejnil generální ředitel společnosti Anthropic Dario Amodei esej o rozsahu téměř 4 000 slov, v níž vyzval ke zpomalení a varoval, že během šesti až dvanácti měsíců by roje AI agentů „mohly být schopny ovládnout celý internet“. K němu se připojili šéfové společností OpenAI, DeepMind ze skupiny Alphabet Inc. ↗ 0.78% společnosti Google, Microsoft ↘ 0.99% a xAI ve vzácné společné výzvě ke zpomalení vývoje a k tomu, aby externí firmy mohly provádět bezpečnostní audity jejich systémů.reuters

Rozkol: Amodei versus Huang

Ne všichni však souhlasí. Šéf společnosti Nvidia ↗ 2.78% Jensen Huang odmítl návrhy, že by se měl vývoj AI pozastavit. „Měli bychom postupovat tak rychle, jak jen můžeme, bez ohledu na kohokoli jiného,“ řekl Huang v rozhovoru pro stanici CBS News, který se bude vysílat tento víkend. Dodal: „Nikdy bychom nevydali a ani bychom neměli vydávat produkty dříve, než jsou připravené, nebo dodávat produkty, které nejsou bezpečné.“cbsnews

Mark Zuckerberg ze společnosti Meta ↗ 0.84% zaujal podobný postoj a tvrdí, že každá laboratoř by si měla určovat vlastní tempo, místo aby koordinovala celoodvětvové zpomalení. „Laboratoře nesou značnou odpovědnost, pokud jejich modely způsobí škodu, takže mají silnou motivaci tomu předcházet,“ napsal v příspěvku na sociálních sítích.reuters

Deník The Wall Street Journal ze skupiny News Corp ↘ 0.03% označil tento rozpor za klíčový rozkol, v němž se Amodei profiluje jako tvář opatrnosti a Huang jako hlavní hlas proti omezování.wsj

Rekurzivní sebezdokonalování se stává realitou

Obavy přiživuje konkrétní pokrok směrem k rekurzivnímu sebezdokonalování. Společnost Anthropic tento týden podle agentury Associated Press prozradila, že její model Claude nyní vede 26 % vlastního výzkumu a vývoje firmy. OpenAI vyvinula automatizovaného „výzkumného stážistu“ a do března 2028 plánuje vytvořit plně automatizovaného „výzkumníka“ na bázi AI. Elon Musk prohlásil, že modely Grok od xAI by mohly dosáhnout plně automatizovaného sebezdokonalování do konce letošního roku.wral

Vědci začátkem tohoto měsíce varovali, že obecná umělá inteligence (AGI) by mohla dorazit již za tři roky. „To je pravděpodobně nejhorší nápad v dějinách lidstva,“ uvedl Anthony Aguirre, prezident institutu Future of Life, v narážce na snahu o plně autonomní sebezdokonalování AI.reuters+1

Prezident Donald Trump mezitím označil varování před nebezpečím AI za „podvod“ a varoval, že jakékoli zpomalení by prospělo pouze Číně. Kongres v regulaci AI dosáhl jen malého pokroku, přestože Čína již přistoupila k návrhu povinností pro vývojáře a státem podporovaných bezpečnostních norem.reuters

Šéf divize AI v Microsoftu Mustafa Suleyman nabídl střízlivé shrnutí: „Všichni se soustředíme na stejný cíl, kterým je snaha ovládnout superinteligenci. Myslím, že to bude největší výzva, které budeme v 21. století čelit.“reuters