Prancūzijos „Mistral“ pristatė 1 trilijono parametrų DI modelį

„Mistral AI“ antradienį, spalio 6 d., išleido „Mistral Large 4“ peržiūrą. Modelis pravardžiuojamas „Le Chonk“, nes turi 1 trilijoną parametrų, o prancūzų laboratorija teigia, kad tai yra stipriausias atviro svorio modelis, sukurtas už Kinijos ribų „reikšminga persvara“. Kol kas kūrėjai gali juo naudotis tik per „Mistral“ API. Bendrovė planuoja paskelbti modelio svorius vėliau šį mėnesį, atlikusi saugumo bandymus su partneriais.techcrunch+3

Šis pristatymas sugrąžina „Mistral“ į geriausių laboratorijų gretas tuo metu, kai prieiga prie pažangaus DI tapo geopolitinės įtampos objektu. Iki šiol pajėgiausi atviri modeliai buvo kilę iš Kinijos. Jungtinėse Valstijose Trumpo administracija birželio mėnesį įvedė laikinus apribojimus „OpenAI“ ir „Anthropic“ modelių platinimui.wired+1

Didelis, bet retas modelis

„Large 4“, arba ML4, naudoja ekspertų mišinio dizainą. Vienu metu aktyvūs tik 49 milijardai jo parametrų. Jis priima tekstą ir vaizdus kaip įvestį, bet generuoja tik tekstą. „Mistral“ jį sukūrė nuo nulio per maždaug du mėnesius naudodama 4 000 „Nvidia“ ↗ 0.14% „Grace Blackwell“ GPU savo Europos duomenų centruose. Mokymo duomenys apima daugiau nei 160 kalbų. „Mistral“ mokslo viceprezidentas Pierre Stock „TechCrunch“ sakė, kad tai yra „du-tris kartus mažiau nei mūsų Kinijos konkurentų.“cnbc+3

Bendrovė modelį skiria kibernetiniam saugumui, programavimui, finansams, gamybai ir lustų projektavimui. „Mistral“ atlikti testai rodo 62% rezultatą „DeepSWE“ programinės įrangos inžinerijos teste. Ankstyvi nepriklausomi rezultatai yra silpnesni. „Vals AI“ platus pramonės indeksas jį vertina žemiau nei pirmaujančius „OpenAI“ ir „Anthropic“ modelius, tačiau jis gerai pasirodo teisinių agentų vertinimo teste. Pati „Mistral“ teigė, kad modelis vis dar atsilieka programavimo srityje.venturebeat+3

Svoriai po bandymų laikotarpio

„Reuters“, „Quartz“ ir „VentureBeat“ praneša, kad svoriai turėtų būti paskelbti spalio 27 d. „Mistral“ įrašas „X“ tinkle nurodo tik „spalio pabaigą“. Peržiūros metu „Mistral“ bendradarbiauja su kibernetinio saugumo įmonėmis ir vyriausybėmis. „Mes dirbsime su patikimais partneriais ir vyriausybėmis, kad užtikrintume, jog atvirojo kodo svoriai būtų naudojami gynybai, o ne kenkėjiškoms atakoms vykdyti“, – sakė Stock. „VentureBeat“ praneša, kad svoriai bus platinami pagal specialią „Mistral“ licenciją, o „Mistral“ tęs mokymą su pastiprinimu prieš galutinai užbaigiant modelį.pasqualepillitteri+4

Kalbėdamas konferencijoje Abu Dabyje, generalinis direktorius Arthur Mensch sakė, kad modelis „iš tikrųjų lenkia Kinijos modelius tam tikrais aspektais, įskaitant kibernetinį saugumą“, ir kad „naratyvas, jog Europa negali konkuruoti, nėra tiesa.“reuters

Pagreitis po rekordinio finansavimo

Šis išleidimas seka po „Mistral“ 3 milijardų eurų „Series D“ finansavimo raundo rugsėjį, kurio metu įmonė įvertinta 21 milijardu eurų. Šiam raundui vadovavo „Samsung“. Tai taip pat įvyko praėjus dienai po to, kai „Nvidia“ remiama „Reflection AI“ išleido savo pirmąjį atvirą modelį.techcrunch+1

Bendraįkūrėjas Guillaume Lample teigė, kad įmonės visur turėtų turėti savo modelius: „Jei naudojate uždarą modelį, nėra garantijos, kad jis vis dar bus prieinamas rytoj.“wired