Hinton: 10% šance, že AI vyhubí lidstvo, není nerozumný odhad

Nobelovou cenou oceněný počítačový vědec Geoffrey Hinton v úterý v pořadu BBC Newsnight prohlásil, že 10% pravděpodobnost, že umělá inteligence během příštího desetiletí vyhubí celé lidstvo, „se nezdá jako nerozumný odhad“. Tato poznámka nechala moderátorku Victorii Derbyshire v přímém přenosu viditelně v šoku.ndtvprofit+1

„Nikdy jsme nevytvořili bytosti, které by mohly být brzy chytřejší než my. Nevíme, co se stane,“ řekl Hinton, když se ho Derbyshire ptala, zda je toto číslo důvěryhodné. „10% šance mi nepřipadá jako nerozumný odhad. Ale nikdo vlastně neví, jak dát rozumný odhad.“ Když mu Derbyshire jeho slova zopakovala, Hinton odpověděl jediným slovem: „Ano.“ Její reakce – „Páni… ó můj bože“ – se rychle rozšířila po internetu.ndtv+1

Jak by AI mohla způsobit zkázu

Hinton, který získal Nobelovu cenu za fyziku za rok 2024 za svou práci na strojovém učení, uvedl, že pokročilá AI by nepotřebovala fyzickou kontrolu nad světem, aby představovala existenční hrozbu. „Mohla by způsobit naprostý chaos jen tím, že by mluvila s lidmi,“ řekl. „Ale také by mohla navrhnout velmi ošklivé viry – biologické viry – stejně jako počítačové viry. Mohla by provádět ničivé kybernetické útoky.“ Dodal, že by bylo „velmi pošetilé“ předpokládat, že riziko je tak nízké jako 1 %.ndtvprofit+1

Stuart Russell, profesor na UC Berkeley, tyto obavy zopakoval a pro Business Insider uvedl, že AI nebo aktéři využívající AI by mohli zaútočit na kritickou infrastrukturu, včetně elektráren, vodovodů, dopravy a finančních systémů.businessinsider

Rezignace v Anthropic, které vyvolaly debatu

Hintonův rozhovor následoval po řadě událostí, které začaly 8. září, kdy Jacob Coxon, bývalý výzkumník v oblasti předtrénování v OpenAI i Anthropic, veřejně rezignoval. „Ani jedna společnost nejedná zodpovědně,“ napsal Coxon na síti X. „Závodí přímo k sebezlepující se superinteligenci a hazardují s našimi životy.“ibtimes+1

Vedoucí vědecký pracovník pro oblast alignmentu v Anthropic, Evan Hubinger, poté veřejně odpověděl, že Coxon má „pravdu“ a že on sám osobně věří, že existuje více než 10% šance, že by AI mohla během desetiletí vyhubit celé lidstvo. „Zatím nemáme plán, jak vyřešit alignment pro superinteligenci, a nejsme jasně na cestě k tomu, abychom ho měli,“ napsal Hubinger.businessinsider+1

Ostrý rozkol mezi odborníky

Ne všichni výzkumníci tento poplach sdílejí. Gary Marcus, výzkumník v oblasti AI, pro Business Insider uvedl, že kybernetické útoky, biologické zbraně a dezinformace považuje za vážná rizika, ale nepovažuje vyhubení za realistický krátkodobý výsledek. „Existuje několik velmi vážných škod, kterých je třeba se obávat, ale neznám žádný realistický scénář, jak by AI skutečně 'vyhubila všechny lidi',“ řekl. Yann LeCun ze společnosti Meta ↗ 0.84% již dříve tyto odhady pravděpodobnosti odmítl jako pouhé pocity – což je charakteristika, kterou Hinton částečně přijal, když pro CNN řekl, že „kdokoli, kdo odhaduje pravděpodobnosti takovým způsobem, ve skutečnosti jen divoce hádá“.businessinsider+1

Moderátor ITV Robert Peston přidal svůj hlas do debaty a na síti X napsal: „Jsem mírně ohromen tím, že to nepřitáhlo větší pozornost, a to ani uvnitř vlády.“ladbible