ByteDance perustaa uuden tekoälydatayksikön: taustalla 10 biljoonan parametrin jättimalli

ByteDance on perustanut uuden ylimmän tason osaston nimeltään "AI Data & Security". Päätös nostaa yhtiön datanhallinnan uudelle tasolle tilanteessa, jossa se valmistautuu kouluttamaan yhtä maailman suurimmista tekoälymalleista.

Kiinalaisen teknologiamedia 36Kr:n raportoima uusi yksikkö toimii samalla organisaatiotasolla kuin ByteDancen Seed AI -tutkimusyksikkö, Flow ja Douyin, kertoo PANews. Yksikköä johtaa Adam Wang, joka vastasi aiemmin TikTokin alustaturvallisuudesta ja suoratoistotoiminnoista.kucoin

Dataputken yhtenäistäminen

Osaston ydintehtävänä on tarjota monimuotoisia (cross-modal) datapalveluita kaikille ByteDancen suurille malleille. Se yhdistää TikTokin perustajajäseniin kuuluvan Fu Yuen vuonna 2023 perustaman Global Data -tiimin, yhtiön DMC-dataväliohjelmiston sekä Flow-yksikön alaisen AI Data Platform -alustan. Uusi yksikkö kattaa datan koko elinkaaren standardoinnista ja hankinnasta aina synteesiin, puhdistukseen, laadunarviointiin ja tietoturvavaatimusten noudattamiseen saakka.kucoin

Taustalla kilpailijoiden matkimisen välttäminen

Uudistus tapahtuu vain päiviä sen jälkeen, kun ByteDancen perustaja Zhang Yiming kehotti yhtiön Seed AI -tutkimustiimiä välttämään omien mallien parantamista kilpailevien järjestelmien "tislaamisen" (distillation) avulla. "Tekoälyn kehittäminen vaatii pitkäjänteisyyttä ja kykyä odottaa tuloksia sen sijaan, että muiden tuotoksia käytettäisiin lyhyen aikavälin listasijoitusten saavuttamiseen", Zhang sanoi hiljattain pidetyssä sisäisessä kokouksessa uutistoimisto Reutersin ja kiinalaisen The Paper -lehden mukaan.mix929

Zhang totesi työntekijöille, että ByteDancen on oltava valmis "uhraamaan lyhyen aikavälin hyötyjä pitkän aikavälin tavoitteiden saavuttamiseen", ja lisäsi, että tislaaminen estää aitojen, pitkäaikaisten teknologisten läpimurtojen syntymisen.mix929

Ohjeistuksella on erityistä painoarvoa laajemmassa geopoliittisessa tilanteessa. Financial Times raportoi 7. elokuuta, että ByteDance esikouluttaa parhaillaan jopa 10 biljoonan parametrin mallia, joka hyödyntää niin sanottua asiantuntijasekoitusarkkitehtuuria (mixture-of-experts). Tämä vaatii noin 30 000 grafiikkasuoritinta (GPU) ja kolmesta kuuteen kuukautta jatkuvaa esikoulutusta. Uuden datayksikön tarkoituksena näyttää olevan varmistaa, että tämän ja tulevien hankkeiden koulutusprosessi tukeutuu asianmukaisesti hallinnoituun, sisäisesti hankittuun dataan eikä länsimaisista järjestelmistä haravoituihin tai tislattuihin tietoihin.wionews

Strateginen viesti

Nostamalla tekoälydatan hallinnan samalle tasolle keskeisten tekoälytutkimus- ja tuoteosastojensa kanssa ByteDance viestii organisaatiotasolla, että datan alkuperä ja sääntöjen noudattaminen eivät ole jälkiajatuksia, vaan edellytyksiä sen kunnianhimoisille tavoitteille. Päätös myös parantaa yhtiön mahdollisuuksia puolustautua tulevilta syytöksiltä immateriaalioikeuksien väärinkäytöstä tilanteessa, jossa Yhdysvaltain viranomaiset ovat varoittaneet, että "pakotteet ja mustalle listalle (Entity List) asettaminen ovat mahdollisia" kiinalaisyrityksille, joiden epäillään hyödyntävän amerikkalaisten tekoälyjärjestelmien tislausta.wionews