OpenAI lägger till billigare modell i Dots när beräkningskostnaderna stiger

OpenAI säger att deras nya personliga Dots-assistenter förbrukar mycket beräkningskraft. Företaget skickar nu en del av deras arbete till en mindre och billigare modell. Medgivandet ökar tvivlen kring huruvida branschen har råd med AI-agenter som alltid är aktiva. Vid en middag med reportrar i New York måndagen den 2 november sa Adam Fry, chef för ChatGPT:s konsumentverksamhet, att Dots är "på den beräkningsintensiva sidan". Han tillade att varje assistent körs på en egen molndator för att utföra uppgifter åt användare via deras anslutna konton.finance.yahoo.com

Konkurrenter står inför samma problem. Elon Musk sa denna vecka att kostnaden för att driva Grok Bot, den personliga assistent som SpaceX lanserade i augusti, är "ohållbart hög i förhållande till intäkterna". Han antydde att företaget minskade beräkningskraften som tilldelats den, vilket gör att användare når sina gränser snabbare. Branschens satsning på agenter följer framgången för Metas ↘ 3.96% Muse-assistent, enligt Fortune.fortune.com

En billigare modell i mixen

Tisdagen den 3 november meddelade OpenAI att de utökar modellerna som driver Dots till att inkludera GPT-6.1 Terra. En Dot kan nu använda olika modeller för olika delar av sitt arbete. Terra är mindre och kräver mindre beräkningskraft än GPT-6 Astra, som ursprungligen körde alla Dots-uppgifter. Den nya automatiska routern är tänkt att göra Dots mindre beräkningsintensiva.openai.com+1

För närvarande är Dots endast tillgängliga för Pro-abonnemanget på 100 dollar i månaden. Fry sa att möjligheten att erbjuda dem till fler användare beror på ett genombrott i beräkningseffektivitet, vilket han förväntar sig kommer att ske och snabbt pressa ner kostnaderna. Han vill också att Dots ska bli en ständigt tillgänglig närvaro genom funktioner som "bakgrundsläge", vilket skulle innebära att ännu mer beräkningskraft används.finance.yahoo.com

Finansiering blir svårare

Pengar är den andra begränsningen. OpenAI har säkrat cirka 11 miljarder dollar i åtaganden för sin senaste runda, mindre än hälften av målet på 30 miljarder dollar, till en värdering på 1,25 biljoner dollar, rapporterade The Wall Street Journal News Corp ↘ 13.24%. Företaget hade hoppats på 1,4 biljoner dollar. Financial Times rapporterade att OpenAI sänkte sitt mål till 20 miljarder dollar, med ett senare erbjudande för förmögna privatpersoner som ska täcka gapet. OpenAI har inte offentligt bekräftat siffrorna.wsj.com+1

Chip och konkurrens

OpenAI förlitar sig främst på Nvidias ↘ 9.26% GPU:er och planerar att skala upp produktionen av sitt eget chip, kallat Jalapeno, under 2027, rapporterade Fortune. Anthropic, som använder fyra typer av chip, har tecknat köpeavtal värda 895,4 miljarder dollar, "varav i stort sett allt är relaterat till beräkningskraft och infrastruktur", enligt deras ändrade S-1. Trots det listar de oförmågan att säkra mer beräkningskraft som en stor risk. Fortune sammanfattade problemet så här: "ju kraftfullare och ständigt aktiva personliga AI-agenter blir, desto mer beräkningskraft förbrukar de. Kommer OpenAI någonsin att kunna hinna ikapp sig själva?"finance.yahoo.com