Inferenz

Cerebras startet Ultrafast-Modus für OpenAIs GPT-5.6 Sol

Cerebras Systems gab am Donnerstag bekannt, dass das Unternehmen eine neue "Ultrafast"-Dienstebene in der OpenAI-API für GPT-5.6 Sol betreibt, die bis zu 750 Ausgabetokens pro Sekunde liefert — bis zu 14-mal schneller als die Standardverarbeitung, ohne Verlust an Modellintelligenz.

AMD kauft Startup, das KI-Modelle direkt in Chips integriert

AMD Advanced Micro Devices, Inc. gab am Donnerstag bekannt, dass eine endgültige Vereinbarung zur Übernahme des in Toronto ansässigen Startups Taalas getroffen wurde. Das Unternehmen integriert KI-Modellgewichte direkt in Silizium, um Inferenzgeschwindigkeiten weit jenseits herkömmlicher GPUs zu erreichen. Finanzielle Bedingungen…

OpenAI findet Optimierung, die Inferenzkosten halbiert

OpenAI-Ingenieure haben Anfang des Monats eine Optimierung entwickelt, die die Inferenzkosten für die Modelle, auf die sie angewendet wurde, um mehr als die Hälfte senkt, wie The Information berichtet. Der Durchbruch, der darauf beruht, mehr Effizienz aus bestehenden Serverressourcen herauszuholen,…