Buvę „DeepMind“ tyrėjai įkūrė ne pelno organizaciją, siekiančią išlaikyti žmones dirbtinio intelekto saugos procese

Grupė buvusių „Google Alphabet Inc.“ ↘ 1.01% „DeepMind“ tyrėjų įkūrė ne pelno organizaciją „Sampura Research“, skirtą užtikrinti, kad žmonės išliktų pagrindiniais vis galingesnių DI sistemų prižiūrėtojais. Londone įsikūrusi organizacija, oficialiai paskelbta rugpjūčio 24 d., siekia sukurti stipresnius vertintojus – hibridines žmogaus ir DI sistemas, gebančias įvertinti, ar modeliai veikia saugiai ir pagal numatytą paskirtį.bloomberg+2

Atsakas į DI priežiūrą DI pagalba

„Sampura Research“ įkūrė Rishubas Jainas, Joshua Jacobas ir Alexas Adamsas, kurie visi anksčiau dirbo „Google DeepMind“. Jainas laboratorijoje praleido septynerius metus, įskaitant dvejus metus, skirtus keičiamo masto priežiūros tyrimams ir indėliui į tokius projektus kaip „AlphaFold“. Jacobas „DeepMind“ dirbo žmogaus duomenų inžinerijos bendraautoriumi, o anksčiau – „Waymo“.EdTech Innovation Hub+4

Organizacija save pozicionuoja kaip atsvarą vyraujančiam pramonės požiūriui naudoti DI dirbtinio intelekto priežiūrai – metodui, kuris suteikia greičio, tačiau, kaip teigia Jainas, vis dar palieka spragų, kurias gali užpildyti žmogaus vertinimas. „Bloomberg“ duomenimis, Jainas tiki, kad žmonės išlieka svarbūs tikrinant modelių elgseną, net ir DI sistemoms tampant vis pajėgesnėms.Bloomberg Law+1

Priežiūros infrastruktūros kūrimas

„Sampura“ tyrimų darbotvarkė orientuota į duomenų rinkinių, matuojančių, kaip efektyviai žmonės ir DI sistemos gali patikrinti modelių rezultatus, kūrimą, o vėliau – šių rodiklių naudojimą priežiūros metodams tobulinti. Organizacija vertintoją apibrėžia kaip žmogų, DI arba hibridinę sistemą, kuri vertina DI elgsenos teisingumą ir suderinimą pokalbio ar agento trajektorijos metu.sampura+1

Planuojami darbai apima būsimų grėsmių duomenų rinkinius, užduočių paskirstymo tarp žmonių ir DI metodus bei atviro kodo vertinimo platformą. Komanda Londone ieško bent šešių patyrusių DI tyrėjų, kurių atlyginimai svyruoja nuo 100 000 iki 290 000 svarų sterlingų.EdTech Innovation Hub+1

Platesnio saugos vertinimo kontekste

Ši veiklos pradžia sutampa su laikotarpiu, kai kyla didelis susirūpinimas dėl DI priežiūros pajėgumų. „Reuters“ pranešime pažymima, kad DI įmonės dar negali suvaldyti to, ką sukūrė, o ne pelno organizacija METR, nepriklausomai vertinanti „OpenAI“, „Anthropic“, „Google“ ir „Meta“ ↗ 1.08% modelius, susiduria su sunkumais samdant darbuotojus, nepaisant siūlomų daugiau nei 500 000 dolerių atlyginimų. Liepos pabaigoje daugiau nei 1 100 DI specialistų pasirašė atvirą laišką, raginantį JAV vyriausybę paremti tarptautinį mechanizmą, skirtą prireikus pristabdyti pažangių technologijų plėtrą.news.aibase.com+2

Jaino pasitraukimas buvo platesnio talentų nutekėjimo iš „DeepMind“ 2026 m. birželį dalis, per kurį laboratorija per šešias dienas neteko penkių pagrindinių tyrėjų.kucoin.com