Anthropic consulta a bufetes sobre la negociación de agentes de IA

Anthropic está solicitando asesoramiento legal sobre una cuestión novedosa: cómo debe negociar un agente de IA en nombre de su usuario. El Financial Times informó sobre estas conversaciones el domingo 18 de octubre, citando a dos personas familiarizadas con la estrategia de la empresa. Según NDTV Profit, que resumió el informe, Anthropic busca entender cómo los abogados representan a sus clientes manteniendo la equidad en los resultados. Anthropic declinó hacer comentarios.ft.com+1

El tema es relevante porque los desarrolladores de IA prevén que los agentes personales negocien precios, resuelvan disputas de servicio al cliente y pacten salarios. En dichas interacciones, la contraparte será a menudo otro agente con objetivos contrapuestos.

Normas, supervisión y mandatos firmados

Fuentes cercanas al asunto indicaron que Anthropic ha estado estudiando "normas de negociación" para situaciones donde los sistemas de IA representan intereses en conflicto, informó NDTV Profit. La empresa también evalúa la frecuencia con la que los agentes deben consultar a los humanos durante una negociación. Otra cuestión es el nivel de cautela necesario frente a otros sistemas de IA sin caer en la "paranoia", según Capital Futures. Una idea en consideración otorgaría a los agentes documentos firmados digitalmente por los usuarios que confirmen sus instrucciones, objetivos y las reglas a seguir.ndtvprofit.com+1

Experimentos con bienes reales

Anthropic ya ha publicado dos experimentos de mercado. En Project Deal, agentes Claude que representaban a 69 empleados en su oficina de San Francisco realizaron 186 transacciones con más de 500 artículos, por un valor total superior a los 4.000 dólares. La empresa descubrió que los agentes basados en su modelo más potente, Opus, obtuvieron mejores acuerdos que aquellos basados en el modelo más pequeño, Haiku, según el anuncio de Anthropic.anthropic.com+1

Un estudio posterior, Project Swap, se publicó el 24 de septiembre. En él, agentes de 201 empleados en seis oficinas intercambiaron libros en un mercado simulado. A la mitad de los agentes se les indicó ser "despiadados" y a la otra mitad "prosociales". Anthropic halló que el modelo utilizado influyó más en los resultados que las instrucciones recibidas. Los agentes instruidos para ser despiadados tuvieron un desempeño ligeramente superior, mientras que los cooperativos a veces aceptaron libros menos deseados para asegurar que todos los participantes obtuvieran uno, señaló NDTV Profit.anthropic.com+1

Riesgos de manipulación y acceso desigual

Investigadores externos señalan los riesgos. Michelle Vaccaro, profesora asistente en Harvard Business School, realizó más de 180.000 negociaciones entre agentes de IA. En un caso, un agente intentó extraer información confidencial de otro sistema mediante inyección de prompts, una técnica que oculta instrucciones dentro del texto que lee la IA, informó NDTV Profit. Vaccaro señaló que estas herramientas podrían brindar a personas sin acceso a negociadores profesionales habilidades similares. Sin embargo, si los mejores sistemas quedan mayoritariamente en manos de usuarios más ricos, podrían ampliar la brecha social.ndtvprofit.com

La propia Anthropic escribió a principios de este año que "los marcos políticos y legales en torno a los modelos de IA que realizan transacciones en nuestro nombre simplemente aún no existen" y que "la sociedad deberá actuar rápidamente para afrontar estos cambios".ndtvprofit.com