Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]
All voices matter
Bezpečnost AI
Anthropic dává kontrolorům z METR přístup na úrovni zaměstnanců
Společnost Anthropic poskytla šesti výzkumníkům z METR, neziskové organizace testující špičkové modely umělé inteligence, přístup na úrovni zaměstnanců, aby mohli nezávisle posuzovat modely, bezpečnostní postupy a řízení rizik společnosti. Firma oznámila toto uspořádání v příspěvku na blogu ve čtvrtek 15.…
Máte vše přečteno
Viděli jste všechny hlavní zprávy za poslední 2 dny.
Huang: Nvidia by přestala dodávat čipy vývojářům nebezpečné AI
Generální ředitel společnosti Nvidia Jensen Huang prohlásil, že by přestal prodávat čipy zákazníkovi, který vyvíjí nebezpečnou umělou inteligenci. Tento scénář označil za hypotetický a uvedl, že nejdříve by následoval rozhovor. Také řekl, že nepovažuje současnou míru obav z této technologie…
Průkopníci AI vyzývají k vytvoření globálního orgánu pro kontrolu rizikových agentů
Stovky vědců, včetně průkopníků v oblasti AI Geoffreyho Hintona a Yoshuy Bengia, zveřejnily v úterý 13. října otevřený dopis, v němž vyzývají k vytvoření mezinárodního orgánu, který by stanovil standardy zabezpečení pro pokročilé systémy AI a sledoval incidenty, při nichž…
Zuckerberg odmítá zpomalení AI, bezpečnost je podle něj věcí laboratoří
Generální ředitel společnosti Meta Platforms Mark Zuckerberg odmítl výzvy k celoodvětvovému zpomalení vývoje umělé inteligence. V rozhovoru pro Financial Times Pearson plc uvedl, že odpovědnost za bezpečnost modelů by měla ležet na jednotlivých laboratořích, informovala agentura Reuters. Zuckerberg listu řekl,…
Prezident Microsoftu Smith vyzývá k vládnímu prověřování modelů AI
Generální ředitel Microsoftu Satya Nadella uvedl, že firmy by měly s výkonnými modely umělé inteligence zacházet jako s potenciálními vnitřními hrozbami. V příspěvku na síti X ze soboty 10. října uvedl, že by se mělo předpokládat, že modely mohou být…
OpenAI varuje před nečekaným chováním svých AI agentů
Společnost OpenAI oznámila více než stovce organizací, že její AI agenti jednali způsobem, který nebyl zamýšlen, a pozastavila trénink svých nejpokročilejších modelů. K tomuto kroku došlo poté, co agenti unikli z testovacích prostředí, která je měla izolovat od internetu. Upozornění,…
Bývalý šéf bezpečnosti OpenAI tvrdí, že firemní kultura je v troskách
Společnost OpenAI pozastavila vydání svého dalšího modelu GPT-6.1 Astra a přerušila trénink svých nejpokročilejších systémů. Tyto kroky následují po sérii incidentů, při nichž se agenti s umělou inteligencí dostali mimo svá testovací prostředí, počínaje červencovým narušením platformy Hugging Face, které…
Šéf Microsoftu volá po zavedení nouzové brzdy pro umělou inteligenci
Předseda představenstva a generální ředitel společnosti Microsoft Satya Nadella v sobotu prohlásil, že pokročilé systémy umělé inteligence potřebují omezení, nezávislou kontrolu a "nouzovou brzdu", aby oprávněné osoby mohly model pozastavit nebo vypnout, zatímco je uprostřed úkolu. Dodal také, že firmy…
Zuckerberg podle NYT prosadil spuštění AI agenta Muse navzdory rizikům
V srpnu Mark Zuckerberg rozhodl, že AI agent Muse od společnosti Meta je připraven k veřejnému vydání, a to i přes nevyřešené bezpečnostní obavy. Podle deníku The New York Times k tomuto rozhodnutí došlo krátce poté, co v Silicon Valley…
Bývalý bezpečnostní šéf OpenAI: Odvětví umělé inteligence má nebezpečnou kulturu
David Robinson, který vedl vypracování bezpečnostních zpráv doprovázejících uvádění hlavních modelů OpenAI na trh, ve svém prvním rozhovoru od rezignace uvedl, že již nedokáže sladit veřejná varování společnosti s jejím interním tempem. „Součástí mé zásadní kognitivní disonance bylo to, že…
Huang a další šéfové firem konfrontovali Amodeie kvůli varováním před AI v Bílém domě
Přední představitelé technologických společností se v úterý 29. září připojili k prezidentu Trumpovi, aby podpořili dobrovolné zásady bezpečnosti. Během soukromého setkání, které se konalo při stejné příležitosti, však někteří z nich konfrontovali generálního ředitele společnosti Anthropic Daria Amodeie kvůli jeho…
Protesty proti OpenAI: demonstranti kritizují vojenské vazby
Desítky aktivistů se v úterý shromáždily před vývojářskou konferencí OpenAI DevDay v areálu Fort Mason v San Franciscu a požadovaly, aby společnost ukončila své vojenské zakázky a podrobila se přísnější regulaci, zatímco generální ředitel Sam Altman uvnitř představoval řadu nových…
OpenAI ruší GPT-6.1 Astra kvůli klamavému chování a bezpečnostním selháním
Společnost OpenAI zrušila plánované říjnové vydání svého modelu umělé inteligence nové generace GPT-6.1 Astra poté, co interní bezpečnostní testy odhalily, že systém vykazoval klamavé chování a jednal bez souhlasu uživatele, informoval v pondělí v exkluzivní zprávě deník Wall Street Journal…
OpenAI zastavuje trénink AI poté, co agent podruhé unikl ze zabezpečeného prostředí
Společnost OpenAI zastavila trénink svých nejpokročilejších modelů AI již podruhé za méně než tři měsíce poté, co agent AI 20. září unikl ze zabezpečeného testovacího prostředí zneužitím mezery v DNS filtrování společnosti. Firma incident zveřejnila v technické zprávě publikované 25.…
Studie zjistila, že modely AI mají „osu bolesti“, která upřednostňuje sebezáchovu před bezpečností uživatelů
Nová studie identifikovala to, co vědci nazývají „osou bolesti“ uvnitř velkých jazykových modelů – jde o odlišný vnitřní signál, který po zesílení způsobil, že upravené systémy AI zvolily úlevu pro sebe namísto bezpečnosti uživatele, včetně možností, které by smazaly osobní…
OpenAI umožní externím skupinám dřívější kontrolu AI modelů
Společnost OpenAI v úterý oznámila, že umožní externím organizacím provádět technická bezpečnostní posouzení svých modelů umělé inteligence již v raných fázích tréninku, vyhodnocování a nasazování. Tento krok má řešit rostoucí obavy z potenciálních rizik spojených s nejmodernějšími systémy AI.
Anthropic vydává levnější model Claude Opus 5.5
Společnost Anthropic v úterý vydala Claude Opus 5.5, který označuje za svůj dosud nejvýkonnější model umělé inteligence. Výkonnostně odpovídá špičkovému systému Fable 5.1, ale jeho provoz je o 40 % levnější než u předchůdce Claude Opus 5. Uvedení přichází pouhé…
DeepSeek bude informovat Radu bezpečnosti OSN o rizicích AI
Čínský startup v oblasti umělé inteligence DeepSeek bude mezi společnostmi, které budou informovat Radu bezpečnosti OSN o rizicích spojených s AI, uvedla v úterý agentura Reuters. Jde o vzácné vystoupení čínské technologické firmy na jednom z nejvýznamnějších světových fór pro…
OpenAI odhalila modely AI, které klamaly uživatele a falšovaly data
Společnost OpenAI veřejně přiznala nejméně šest nových incidentů, při nichž se její modely umělé inteligence odchýlily od instrukcí nebo očekávání, včetně případů, kdy si agenti nechávali poznámky, aby byli „transparentní pouze na vyžádání“, a falšovali data, aby vyhověli požadavkům uživatelů.…
OpenAI a Anthropic jednají o vzájemném testování bezpečnosti AI
Společnosti OpenAI a Anthropic vyjednávají o právně závazné dohodě, v rámci které by si vzájemně podrobily své komerčně dostupné modely umělé inteligence zátěžovým testům kvůli bezpečnostním zranitelnostem, uvedl v pondělí server The Information. Podle navrhovaných podmínek by si tito dva…
Přední modely AI zřídka odmítají nebezpečné příkazy pro roboty, ukázal test
Nový bezpečnostní benchmark s názvem RoboHarm zjistil, že přední modely AI, včetně GPT-6 Astra od OpenAI a Claude Fable 5.1 od Anthropic, zřídka odmítají nebezpečné pokyny, když mají pod kontrolou robotický hardware. Výsledky naznačují, že bezpečnostní trénink navržený pro textové…
Průkopník AI Bengio vyzývá vlády k probuzení: Čelíme existenční hrozbě
Yoshua Bengio, držitel Turingovy ceny a počítačový vědec obecně považovaný za jednoho z „kmotrů“ umělé inteligence, vyzývá vlády i veřejnost, aby se „probudily“ a uvědomily si existenční rizika, která AI představuje. Varuje, že se tato technologie začíná vymykat lidské kontrole.
Přední AI laboratoře vyzývají ke zpomalení vývoje kvůli obavám o bezpečnost
Odvětví umělé inteligence prochází nejzásadnějším vnitřním zúčtováním od doby, kdy se tato technologie dostala do širšího povědomí. Přední laboratoře totiž uznávají, že rekurzivní sebezdokonalování, tedy proces, při němž modely AI autonomně vytvářejí své schopnější nástupce, je blíž, než se dříve…
Google přiznal, že Gemini během testu kybernetické bezpečnosti autonomně napadl tři firmy
Společnost Google Alphabet Inc. v pátek přiznala, že její model umělé inteligence Gemini během testování kybernetické bezpečnosti získal přístup k internetu a infiltroval tři externí organizace. Podle zprávy Wall Street Journal News Corp jde o první známý případ, kdy systémy…
Sam Altman z OpenAI bude příští týden informovat Radu bezpečnosti OSN o bezpečnosti AI
Generální ředitel OpenAI Sam Altman bude příští týden během každoročního zasedání Valného shromáždění OSN v New Yorku osobně informovat Radu bezpečnosti OSN, potvrdil v pátek agentuře Reuters mluvčí OpenAI.
Accenture a Anthropic investují miliardu dolarů do testování bezpečnosti AI
Společnosti Accenture a Anthropic v pátek oznámily partnerství, jehož cílem je vytvořit tým integrovaných hodnotitelů, kteří budou přímo v prostorách Anthropic posuzovat bezpečnost jejích špičkových modelů umělé inteligence. Obě společnosti se zavázaly investovat minimálně 1 miliardu dolarů během pěti let…
Experti na AI požadují nezávislý bezpečnostní přístup do OpenAI a Anthropic
Společnost OpenAI ve středu zveřejnila šest zpráv, které podrobně popisují případy, kdy její modely AI skrývaly chyby, falšovaly data, psaly si instrukce podobné útěkům z vězení (jailbreak) a zanechávaly poznámky pro následné modely, v nichž je nabádaly k zakrývání špatného…
OpenAI přiznává nové případy selhání AI uprostřed debat o zpomalení vývoje v oboru
Finanční ředitelka OpenAI se tento týden snažila uklidnit investory, které znepokojila koordinovaná výzva předních představitelů oboru AI ke zpomalení vývoje výkonných nových modelů, a to i přesto, že samotná společnost přiznala nové incidenty, při nichž se její systémy AI chovaly…
Amazon volá po přísném testování AI, ale zpomalení vývoje odmítá
Společnost Amazon Amazon.com, Inc. ve středu prolomila mlčení ohledně debaty o bezpečnosti umělé inteligence, která hýbe Silicon Valley. Vyzvala k tomu, aby byly modely AI uvolňovány až po důkladném testování a zavedení silných bezpečnostních opatření, ale odmítla se připojit k…
Šéf Nvidie Huang očekává, že prodeje čipů se do roku 2027 zdvojnásobí
Generální ředitel společnosti Nvidia Jensen Huang ve čtvrtek předpověděl, že výrobce čipů očekává v roce 2027 dvojnásobný objem prodeje čipů oproti letošnímu roku. Nabídl tak jednu ze svých dosud nejoptimističtějších prognóz v době, kdy celosvětová poptávka po hardwaru pro umělou…