OpenAI finnur hagræðingu sem helmingar kostnað við ályktun

Verkfræðingar hjá OpenAI þróuðu fyrr í þessum mánuði hagræðingu sem minnkar kostnað við ályktun um meira en helming fyrir þær gerðir sem hún hefur verið notuð á, samkvæmt skýrslu frá The Information. Byltingin, sem felst í því að kreista meiri skilvirkni út úr núverandi netþjónaauðlindum í stað þess að setja upp fleiri flögur, markar athyglisverða framför í hagkvæmni þess að keyra stór tungumálalíkön í stórum stíl.digg+1

Hugbúnaðarlausn, ekki vélbúnaðarlausn

Eftir að hagræðingin var notuð á ChatGPT-umferð án innskráningar, fækkaði þeim GPU-einingum sem þarf til að knýja þá umferð niður í aðeins nokkur hundruð, samkvæmt fréttum sem birtust á mánudag. Verkfræðiteymi OpenAI upplýsti samstarfsmenn innanhúss um að aðferðin bæti fyrst og fremst nýtingarskilvirkni núverandi netþjónainnviða. Fyrirtækið hefur ekki tjáð sig opinberlega um þessa þróun.odaily+2

Kostnaðarlækkunin kemur á sama tíma og OpenAI stendur frammi fyrir vaxandi tölvukostnaði. Fyrirtækið eyddi 3,7 milljörðum dollara á fyrsta ársfjórðungi 2026 einum saman, meira en helmingi af 5,7 milljarða dollara tekjum sínum á tímabilinu, samkvæmt The Information. OpenAI leitar einnig að vélbúnaðarlausnum samhliða – í síðustu viku kynnti fyrirtækið Jalapeño, sína fyrstu sérsniðnu ályktunarflögu sem var þróuð í samvinnu við Broadcom ↗ 4.00%, hönnuð til að skila betri afköstum á hvert watt fyrir tungumálalíkanaforrit.techcrunch+2

Kapphlaup innan iðnaðarins

Hagræðingin er hluti af víðtækari samkeppni meðal gervigreindarfyrirtækja um að lækka kostnað við að þjónusta notendur með líkönum. Anthropic hefur undirritað samninga um nokkur gígavött af næstu kynslóðar TPU-getu frá Google Alphabet Inc. ↗ 0.84% og Broadcom, og er búist við að sú geta verði komin í gagnið frá og með næsta ári. Anthropic hefur einnig átt fyrstu viðræður við Lundúna-sprotann Fractile um kaup á sérhæfðum ályktunarflögum, þótt ekki sé búist við að þær verði markaðssettar fyrr en um 2027.reddit+2

Kapphlaupið um að lækka kostnað við ályktun hefur orðið að helsta áhyggjuefni innan iðnaðarins, þar sem fjárhagsáætlanir fyrirtækja fyrir gervigreind ráðast nú að miklu leyti af útgjöldum til ályktunar. Fyrir OpenAI, sem er áætlað að eyða 17 milljörðum dollara í reiðufé árið 2026, gæti hvaða aðferð sem helmingar kostnaðinn við að þjónusta hundruð milljóna notenda breytt verulega leið fyrirtækisins að arðsemi.economist+1