„ByteDance“ kuria aukščiausio lygio DI duomenų padalinį: taikosi į 10 trilijonų parametrų modelį

„ByteDance“ įsteigė naują pirmosios pakopos padalinį „AI Data & Security“, taip sustiprindama bendrovės požiūrį į duomenų valdymą, kai pradedamas mokyti vienas didžiausių pasaulyje DI modelių.

Kaip praneša Kinijos technologijų leidinys „36Kr“, naujasis padalinys veikia tame pačiame organizaciniame lygmenyje kaip ir „ByteDance“ tyrimų padalinys „Seed AI“, „Flow“ bei „Douyin“, teigia „PANews“. Jam vadovauja Adamas Wangas, anksčiau prižiūrėjęs „TikTok“ platformos atsakomybės ir tiesioginių transliacijų operacijas.kucoin

Duomenų srauto konsolidavimas

Pagrindinė padalinio misija yra teikti įvairiarūšių duomenų paslaugas visiems didiesiems „ByteDance“ modeliams. Jis sujungia „Global Data“ komandą, kurią 2023 m. įkūrė viena iš „TikTok“ steigėjų Fu Yue, taip pat bendrovės duomenų tarpinę programinę įrangą DMC bei „Flow“ priklausančią „AI Data Platform“. Padalinys apima visą duomenų gyvavimo ciklą: nuo standartizavimo ir gavimo iki sintezės, valymo, kokybės vertinimo ir saugumo atitikties užtikrinimo.kucoin

Kova prieš modelių distiliavimą

Ši reorganizacija įvyko praėjus kelioms dienoms po to, kai „ByteDance“ įkūrėjas Zhangas Yimingas nurodė bendrovės „Seed AI“ tyrimų komandai vengti modelių tobulinimo distiliuojant konkurentų sistemas. „DI plėtrai reikalingas ilgalaikis mąstymas ir gebėjimas atidėti pasitenkinimą, o ne kitų rezultatų naudojimas siekiant trumpalaikių pozicijų lyderių lentelėse“, – neseniai vykusiame vidiniame susitikime sakė Zh. Yimingas, remiantis „Reuters“ pranešimu, kuriame cituojamas Kinijos leidinys „The Paper“.mix929

Zh. Yimingas darbuotojams teigė, kad „ByteDance“ turėtų būti pasirengusi „paaukoti dalį trumpalaikės naudos dėl ilgalaikių tikslų“, ir pridūrė, kad distiliavimas trukdo pasiekti tikrų ilgalaikių technologinių proveržių.mix929

Šis nurodymas įgyja dar didesnę reikšmę atsižvelgiant į platesnę geopolitinę aplinką. Rugpjūčio 7 d. „Financial Times“ pranešė, kad „ByteDance“ atlieka išankstinį modelio, turinčio net 10 trilijonų parametrų, mokymą naudodama ekspertų mišinio architektūrą, kuriai reikia maždaug 30 000 vaizdo plokščių (GPU) ir nuo trijų iki šešių mėnesių nepertraukiamo išankstinio mokymo. Panašu, kad naujasis duomenų padalinys yra skirtas užtikrinti, kad šio projekto, kaip ir būsimų iniciatyvų, mokymo procesas vyktų naudojant tinkamai valdomus, vidinius duomenis, o ne iš Vakarų sistemų nukopijuotus ar distiliuotus rezultatus.wionews

Struktūrinis signalas

Iškeldama DI duomenų valdymą į tą patį lygmenį kaip ir pagrindiniai DI tyrimų bei produktų padaliniai, „ByteDance“ siunčia organizacinį signalą, kad duomenų kilmė ir atitiktis nėra antraeiliai dalykai, o būtina sąlyga jos ambicingiems tikslams pasiekti. Šis žingsnis taip pat leidžia bendrovei apsisaugoti nuo būsimų kaltinimų intelektinės nuosavybės pažeidimais tuo metu, kai JAV pareigūnai perspėja, kad Kinijos įmonėms, įtariamoms Amerikos DI sistemų distiliavimu, gali būti taikomos sankcijos ir įtraukimas į nepageidaujamų subjektų sąrašą.wionews