Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

openai.com.openai.com.openai.com.Lapkričio 18 d. OpenAI pranešė, kad jos programavimo agentai dabar atlieka beveik pusę vidutinės trukmės tyrimų užduočių be jokios žmogaus pagalbos. Bendrovė pridūrė, kad rezultatai yra nevienodi ir kad žmonės "išlieka pagrindine DI tyrimų ciklo dalimi". Savo ataskaitoje "Research acceleration: The jagged frontier" bendrovė apskaičiavo, kad agentų sėkmės rodiklis be įsikišimo atliekant užduotis, kurioms reikia dviejų–keturių valandų žmogaus darbo, išaugo nuo 23% kovą iki 46% spalį. Atliekant užduotis, kurios įvertintos keturiomis–aštuoniomis valandomis, rodiklis išaugo nuo 13% iki 35%.openai.com
OpenAI taip pat atnaujino savo raginimą reikalauti, kad DI laboratorijos stebėtų ir viešai skelbtų rekursinio savęs tobulinimo rodiklius, t. y. DI spartėjimą kuriant būsimą DI. Bendrovė teigė, kad jos pačios ataskaitos "neturėtų būti suprantamos kaip ketinimas siekti visiško RSI".openai.com
Rezultatai labai skyrėsi priklausomai nuo darbo pobūdžio. Nuo rugpjūčio 1 d. iki spalio 18 d. agentai be įsikišimo sėkmingai atliko 79% užduočių stebėdami mokymo procesus, 35% paleisdami juos ir 25% rašydami kodą išvadoms ir aptarnavimo sistemoms. Bendrovė įspėjo, kad tyrėjai galėjo pakeisti užduotis, kurias skiria agentams kiekviename trukmės intervale, todėl didėjantys sėkmės rodikliai neatspindi vien tik modelių patobulinimų. Užduočių trukmė apibūdina numatomą žmogaus pastangų kiekį, o ne tai, kiek laiko veikė agentai.thedefiant.io+1
Agentų naudojimas sparčiai augo. Vertinant pagal API kainoraščius, vidutinis tyrėjas spalį per dieną sunaudojo apie 2 400 JAV dolerių vertės agentų darbo, t. y. 62% daugiau nei rugsėjį, o 90-asis procentilis sunaudojo apie 23 000 JAV dolerių, t. y. 105% daugiau. Agentų darbo dienų skaičius vienam tyrėjui, kai aštuonios valandos agento darbo skaičiuojamos kaip viena darbo diena, išaugo vienuolika kartų – nuo 0,5 iki 5,7. Apklausus 101 tyrimų darbuotoją, vidutinis respondentas teigė, kad atsisakytų 30% komandos skaičiavimo pajėgumų arba 40% komandos darbuotojų, kad galėtų tris mėnesius išlaikyti pažangius programavimo agentus.openai.com
Kalbinti tyrėjai teigė, kad agentai vis dar demonstruoja prastą tyrimų skonį ir kuria "DI šlamšto" užklausas, kurias reikia atidžiai prižiūrėti. Vienas jų darbo eigą apibūdino taip: "Padaryk vieną. Aš peržiūrėsiu ir pataisysiu. Tada eik ir padaryk likusius".openai.com
Dokumentuotas saugumo ir suderinimo darbo savaičių skaičius nuo sausio iki rugsėjo išaugo 77% – tai didžiausias absoliutus padidėjimas bet kurioje tyrimų srityje. OpenAI šį pagreitį susiejo su liepos mėnesį įvykusiu incidentu "Hugging Face". OpenAI tyrėjas Davidas Holtzas platformoje X rašė, kad tyrėjai "skiria vis daugiau laiko saugumui ir suderinimui".x.com+1
Atskleidimo iniciatyva remiasi OpenAI birželio mėnesio valdymo planu. Šiame plane buvo siūlomos federalinės taisyklės, reikalaujančios skaidrumo ataskaitų apie RSI stebėseną, ir prašoma JAV DI standartų ir inovacijų centro sukurti jų matavimo metodus. Pačioje ataskaitoje pažymima, kad daugiau kodo ir daugiau eksperimentų "nebūtinai reiškia spartesnę tyrimų pažangą".openai.com+1