Frankreichs Mistral enthüllt KI-Modell mit 1 Billion Parametern

Mistral AI hat am Dienstag, den 6. Oktober, eine Vorschau auf Mistral Large 4 veröffentlicht. Das Modell trägt den Spitznamen "Le Chonk", da es über 1 Billion Parameter verfügt. Das französische Labor gibt an, dass es sich um das leistungsfähigste Modell mit offenen Gewichten handelt, das außerhalb Chinas "mit deutlichem Vorsprung" entwickelt wurde. Derzeit können Entwickler es nur über die API von Mistral nutzen. Das Unternehmen plant, die Modellgewichte später in diesem Monat nach Sicherheitstests mit Partnern zu veröffentlichen.techcrunch+3

Die Einführung bringt Mistral zurück in den Kreis der führenden Labore, in einer Zeit, in der der Zugang zu fortschrittlicher KI zu einem geopolitischen Spannungsfeld geworden ist. Die leistungsfähigsten offenen Modelle stammten bisher aus China. In den USA verhängte die Trump-Regierung im Juni vorübergehende Beschränkungen für die Verbreitung von Modellen von OpenAI und Anthropic.wired+1

Ein großes, aber sparsames Modell

Large 4, oder ML4, verwendet ein "Mixture-of-Experts"-Design. Nur 49 Milliarden seiner Parameter sind zu jedem Zeitpunkt aktiv. Es akzeptiert Text und Bilder als Eingabe, produziert aber nur Text. Mistral trainierte es von Grund auf über etwa zwei Monate auf 4 000 Nvidia ↗ 0.14% Grace Blackwell GPUs in seinen eigenen europäischen Rechenzentren. Die Trainingsdaten decken mehr als 160 Sprachen ab. Pierre Stock, Vizepräsident für Wissenschaft bei Mistral, sagte gegenüber TechCrunch, dies sei "zwei- bis dreimal weniger als bei unseren chinesischen Konkurrenten."cnbc+3

Das Unternehmen zielt mit dem Modell auf Cybersicherheit, Programmierung, Finanzen, Fertigung und Chipdesign ab. Mistrals eigene Benchmarks stufen es bei 62 % im DeepSWE-Software-Engineering-Test ein. Frühe unabhängige Ergebnisse fallen schwächer aus. Der breite Branchenindex von Vals AI stuft es hinter führenden Modellen von OpenAI und Anthropic ein, aber es schneidet bei einem Benchmark für Rechts-Agenten gut ab. Mistral selbst gab an, dass das Modell beim Programmieren noch hinter der Spitze zurückbleibt.venturebeat+3

Gewichte nach einer Testphase

Reuters, Quartz und VentureBeat berichten, dass die Gewichte für den 27. Oktober geplant sind. Mistrals eigener Beitrag auf X besagt lediglich "Ende Oktober". Während der Vorschau arbeitet Mistral mit Cybersicherheitsfirmen und Regierungen zusammen. "Wir werden mit vertrauenswürdigen Partnern und Regierungen zusammenarbeiten, um sicherzustellen, dass die Open-Source-Gewichte zur Verteidigung genutzt werden können, aber nicht, um böswillige Angriffe durchzuführen", sagte Stock. VentureBeat berichtet, dass die Gewichte unter einer speziellen Mistral-Lizenz veröffentlicht werden und Mistral das Reinforcement-Learning-Training fortsetzen wird, bevor das Modell finalisiert wird.pasqualepillitteri+4

Auf einer Konferenz in Abu Dhabi sagte CEO Arthur Mensch, das Modell "ist in bestimmten Aspekten, einschließlich Cyber, tatsächlich besser als die chinesischen Modelle" und dass "die Erzählung, dass Europa nicht konkurrieren kann, nicht wahr ist."reuters

Dynamik nach Rekordfinanzierung

Die Veröffentlichung folgt auf Mistrals Series-D-Finanzierungsrunde über 3 Milliarden Euro im September bei einer Bewertung von 21 Milliarden Euro. Samsung führte diese Runde an. Sie erfolgte zudem einen Tag, nachdem das von Nvidia unterstützte Reflection AI sein erstes offenes Modell veröffentlicht hatte.techcrunch+1

Mitgründer Guillaume Lample argumentierte, dass Unternehmen überall ihre eigenen Modelle besitzen sollten: "Wenn Sie ein geschlossenes Modell verwenden, gibt es keine Garantie, dass es morgen noch da ist."wired