Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

openai.com.openai.com.openai.com.Den 18 november meddelade OpenAI att deras kodningsagenter nu slutför nästan hälften av medellånga forskningsuppgifter utan mänsklig hjälp. De tillade att framstegen är ojämna och att människor "förblir en kärndel av AI-forskningsloopen." I sin rapport, Research acceleration: The jagged frontier, uppskattade företaget att agenternas framgångsgrad utan ingripande för uppgifter som kräver två till fyra timmars mänskligt arbete steg från 23 % i mars till 46 % i oktober. För uppgifter som beräknas ta fyra till åtta timmar steg siffran från 13 % till 35 %.openai.com
OpenAI förnyade också sitt krav på att AI-laboratorier ska vara skyldiga att spåra och offentligt rapportera indikatorer på rekursiv självförbättring, vilket innebär att AI påskyndar utvecklingen av framtida AI. De uppgav att deras egen rapportering "inte bör läsas som en avsikt att eftersträva full RSI".openai.com
Resultaten varierade kraftigt beroende på arbetstyp. Från 1 augusti till 18 oktober lyckades agenter utan ingripande 79 % av gångerna vid övervakning av träningskörningar, 35 % vid start av dessa och 25 % vid skrivande av kod för inferens och serveringsstackar. Företaget varnade för att forskare kan ha ändrat vilka uppgifter de ger till agenter inom varje tidsintervall, så stigande framgångsgrader speglar inte enbart modellförbättringar. Uppgifternas varaktighet beskriver uppskattad mänsklig ansträngning, inte hur länge agenterna kördes.thedefiant.io+1
Användningen av agenter växte snabbt. Baserat på API-listpriser använde den genomsnittliga forskaren cirka 2 400 dollar i agentarbete per dag i oktober, en ökning med 62 % från september, och den 90:e percentilen använde cirka 23 000 dollar, en ökning med 105 %. Antalet arbetsdagar för agenter per forskare, där varje åtta timmars agentanvändning räknas som en arbetsdag, ökade elvafaldigt från 0,5 till 5,7. I en undersökning bland 101 forskare svarade medianrespondenten att de skulle ge upp 30 % av teamets beräkningskraft, eller 40 % av teamets personalstyrka, för att behålla avancerade kodningsagenter i tre månader.openai.com
Intervjuade forskare sa att agenter fortfarande visade dålig forskningssmak och producerade "AI-slop"-pull-requests som krävde noggrann tillsyn. En beskrev arbetsflödet så här: "Gör en. Jag granskar den och gör ändringar. Sedan gör du resten".openai.com
Dokumenterat säkerhets- och anpassningsarbete ökade med 77 % från januari till september, den största absoluta ökningen inom något forskningsområde. OpenAI kopplade accelerationen till efterdyningarna av en Hugging Face-incident i juli. OpenAI-forskaren David Holtz skrev på X att forskare "ägnar mer och mer tid åt säkerhet och anpassning".x.com+1
Transparensinitiativet bygger vidare på OpenAIs styrningsplan från juni. Den planen föreslog federala regler som kräver transparensrapporter om RSI-spårning och bad det amerikanska Center for AI Standards and Innovation att utveckla metoder för att mäta detta. Själva rapporten noterar att mer kod och fler experiment "inte nödvändigtvis innebär snabbare forskningsframsteg".openai.com+1