Studie: Läsare föredrar AI-skrivna noveller framför mänskliga

Läsare gav de högsta betygen till noveller genererade av artificiell intelligens, särskilt när de trodde att texten var skriven av en människa. Det visar forskning publicerad av Cambridge University Press i tidskriften Judgement and Decision Making.bbc+1

Studien, som leddes av forskare vid Villanova University, testade om deltagare i åldrarna 18 till 81 år kunde skilja på mänsklig och AI-genererad skönlitteratur. Det kunde de inte. Träffsäkerheten var bara 39,93 procent i ett experiment, vilket är sämre än slumpen, och 51,97 procent i ett annat, vilket motsvarar att singla slant.eurekalert+1

Så gick studien till

Forskarna använde tre noveller skrivna av publicerade författare tillsammans med tre som genererats av ChatGPT. I det första experimentet fick 1 682 deltagare läsa en berättelse och fick antingen korrekt eller felaktig information om huruvida den var skriven av en AI eller en människa, varpå de fick bedöma hur fängslande den var. I efterföljande experiment fick 424 respektive 481 deltagare läsa en mänskligt skriven och en AI-skriven novell utan märkning, och försökte sedan identifiera vilken som var vilken.bbc

”Deltagarna gav de högsta betygen till berättelser som de hade fått höra var skrivna av människor, men som i själva verket var skrivna av AI”, säger studiens huvudförfattare dr Deena Weisberg vid Villanovas institution för psykologi och hjärnforskning. ”Jag skulle vilja hävda att detta avslöjar en fördom till förmån för berättelser skrivna av riktiga människor.”bbc

AI-genererade berättelser fick också högre betyg för kvalitet överlag. ”AI-texter tenderar att vara tydligare, mer direkta och lättare att ta till sig”, säger Weisberg. ”Mänskligt skrivna berättelser är däremot ofta mer subtila och komplexa. Kanske föredrar människor i allmänhet förutsägbarhet, eftersom svårt eller subtilt material kräver mer tankeverksamhet.”bbc

Konsekvenser för utbildningsväsendet

Resultaten kommer i en tid då universitet kämpar med AI-verktygens roll i det akademiska skrivandet. Allt fler lärosäten, däribland Yale, Vanderbilt, Johns Hopkins och Indiana University, har infört regler som förbjuder eller avråder lärare från att förlita sig på AI-detektionsprogram som enda bevis på fusk, enligt Inside Higher Ed. Minst ett dussin universitet, däribland Northwestern och Georgetown, har stängt av Turnitins AI-detektionsverktyg efter att det visat sig ge fler falska positiva resultat än vad som först uppgetts.insidehighered

”Under de senaste drygt 20 åren har det skett förändringar som långsamt har urholkat giltigheten i våra 1900-talsmetoder för examination”, säger Tricia Bertram Gallant, chef för kontoret för akademisk integritet vid UC San Diego. ”Vi förlitar oss fortfarande på det oövervakade skrivna ordet som bevis på lärande. Den verkliga utmaningen är att erkänna att det inte fungerar längre.”insidehighered

Ett landskap i förändring

Weisberg påpekar att allmänhetens föreställningar om AI-verktygens kreativa förmåga är ”alltmer föråldrade”. Studien sällar sig till en växande mängd forskning som utmanar antagandet att kreativt skrivande kräver unikt mänskliga egenskaper som känslomässig förståelse och levd erfarenhet. Personer som uppgav sig ha god förståelse för AI var bättre på att identifiera AI-skriven text, men detsamma gällde inte för dem som ansåg sig ha expertkunskaper inom litteratur.bbc