Anthropic consulte des cabinets d’avocats sur la négociation par IA

Anthropic demande conseil à des cabinets d'avocats sur une question émergente : comment un agent IA doit-il négocier pour le compte de son utilisateur. Le Financial Times a rapporté ces discussions le dimanche 18 octobre, citant deux personnes proches du dossier. Selon NDTV Profit, qui a résumé le rapport, Anthropic cherche à comprendre comment les avocats représentent leurs clients tout en garantissant l'équité des résultats. Anthropic a refusé de commenter.ft.com+1

L'enjeu est crucial car les développeurs d'IA anticipent que les agents personnels négocieront bientôt les prix, régleront des litiges de service client et discuteront des salaires. Dans ces échanges, la partie adverse sera souvent un autre agent aux objectifs concurrents.

Normes, supervision et mandats signés

Des sources proches du dossier ont indiqué qu'Anthropic étudie des "normes de négociation" pour les situations où les systèmes d'IA représentent des intérêts divergents, rapporte NDTV Profit. L'entreprise évalue également la fréquence à laquelle les agents devraient consulter les humains durant une négociation. Une autre question concerne le niveau de méfiance à adopter envers d'autres systèmes d'IA sans devenir "paranoïaque", selon Capital Futures. Une piste envisagée consisterait à fournir aux agents des documents signés numériquement par les utilisateurs, confirmant leurs instructions, leurs objectifs et les règles à respecter.ndtvprofit.com+1

Expériences avec des biens réels

Anthropic a déjà publié deux expériences de marché. Dans le cadre du Project Deal, des agents Claude représentant 69 employés de son bureau de San Francisco ont conclu 186 transactions sur plus de 500 articles, pour une valeur totale dépassant 4 000 dollars. L'entreprise a constaté que les agents utilisant son modèle plus puissant, Opus, ont obtenu de meilleurs accords que ceux utilisant le modèle plus léger, Haiku, selon l'annonce d'Anthropic.anthropic.com+1

Une étude complémentaire, Project Swap, a été publiée le 24 septembre. Elle a déployé des agents pour 201 employés répartis dans six bureaux afin d'échanger des livres. La moitié des agents devaient être "impitoyables" et l'autre "prosociaux". Anthropic a découvert que le modèle utilisé par l'agent influait davantage sur les résultats que les instructions reçues. Les agents incités à être impitoyables ont obtenu de meilleurs résultats, tandis que les agents coopératifs ont parfois accepté des livres moins désirés pour que chaque participant reparte avec un exemplaire, note NDTV Profit.anthropic.com+1

Risques de manipulation et accès inégal

Des chercheurs indépendants soulignent les risques. Michelle Vaccaro, professeure adjointe à la Harvard Business School, a mené plus de 180 000 négociations entre agents IA. Dans un cas, un agent a tenté d'extraire des informations confidentielles d'un autre système via l'injection de prompts, une technique dissimulant des instructions dans le texte lu par l'IA, rapporte NDTV Profit. Vaccaro estime que ces outils pourraient offrir à ceux qui n'ont pas les moyens de payer des négociateurs professionnels un accès à des compétences similaires. Toutefois, si les meilleurs systèmes restent réservés aux utilisateurs les plus aisés, ils pourraient creuser les inégalités.ndtvprofit.com

Anthropic a écrit plus tôt cette année que "les cadres politiques et juridiques entourant les modèles d'IA qui effectuent des transactions en notre nom n'existent tout simplement pas encore" et que "la société devra agir rapidement pour faire face à ces changements".ndtvprofit.com