Anthropic rådfører seg med advokatfirmaer om AI-forhandlinger

Anthropic ber advokatfirmaer om råd angående et spørsmål som fortsatt er nytt: hvordan en AI-agent bør forhandle på vegne av personen den jobber for. Financial Times rapporterte om samtalene søndag 18. oktober, med henvisning til to personer med kjennskap til selskapets vurderinger. De uttalte at Anthropic ønsker å lære hvordan advokater representerer klienter samtidig som de sikrer rettferdige resultater, ifølge NDTV Profit, som oppsummerte rapporten. Anthropic ønsket ikke å kommentere saken.ft.com+1

Spørsmålet er viktig fordi AI-utviklere forventer at personlige agenter skal prute på priser, løse kundeservicekonflikter og forhandle lønn. I slike samtaler vil motparten ofte være en annen agent med motstridende mål.

Normer, tilsyn og signerte fullmakter

Personer med kjennskap til saken sa at Anthropic har studert forhandlingsnormer for situasjoner der AI-systemer representerer brukere med motstridende interesser, meldte NDTV Profit. Selskapet vurderer også hvor ofte agenter bør konsultere mennesker under en forhandling. Et annet spørsmål er hvor skeptiske de bør være til andre AI-systemer uten å bli paranoide, ifølge Capital Futures. En idé som vurderes, er å gi agenter digitalt signerte dokumenter fra brukere som bekrefter instruksjoner, mål og regler de må følge.ndtvprofit.com+1

Eksperimenter med faktiske varer

Anthropic har allerede publisert to markedsplasseksperimenter. I Project Deal gjennomførte Claude-agenter som representerte 69 ansatte ved kontoret i San Francisco 186 avtaler med over 500 oppførte varer, til en totalverdi på litt over 4000 dollar. Selskapet fant også at agenter som kjørte på den kraftigere Opus-modellen oppnådde bedre avtaler enn de som brukte den mindre Haiku-modellen, ifølge Anthropics kunngjøring.anthropic.com+1

En oppfølgingsstudie, Project Swap, ble publisert 24. september. Den sendte agenter for 201 ansatte ved seks kontorer ut på en handelsplass for å bytte bøker. Halvparten av agentene fikk beskjed om å være hensynsløse, mens den andre halvparten skulle være prososiale. Anthropic fant at modellen agenten kjørte på betydde mer for resultatene enn instruksjonene den fikk. Agenter som ble bedt om å være hensynsløse gjorde det litt bedre, mens samarbeidsvillige agenter noen ganger aksepterte mindre foretrukne bøker slik at alle deltakere endte opp med en, bemerket NDTV Profit.anthropic.com+1

Risiko for manipulasjon og ulik tilgang

Uavhengige forskere peker på risikoen. Michelle Vaccaro, førsteamanuensis ved Harvard Business School, gjennomførte over 180 000 forhandlinger mellom AI-agenter. I ett tilfelle forsøkte en agent å hente ut konfidensiell informasjon fra et annet system via prompt-injeksjon, en teknikk som skjuler instruksjoner inne i teksten en AI leser, meldte NDTV Profit. Vaccaro sa at verktøyene kan gi personer som ikke har råd til profesjonelle forhandlere tilgang til lignende ferdigheter. Hvis de beste systemene forblir forbeholdt velstående brukere, kan det imidlertid øke forskjellene.ndtvprofit.com

Anthropic skrev selv tidligere i år at de politiske og juridiske rammene rundt AI-modeller som handler på våre vegne rett og slett ikke eksisterer ennå, og at samfunnet må handle raskt for å håndtere disse endringene.ndtvprofit.com