Anthropic berät sich mit Anwaltskanzleien zu KI-Verhandlungen

Anthropic bittet Anwaltskanzleien um Rat zu einer noch jungen Fragestellung: Wie sollte ein KI-Agent für die Person verhandeln, für die er arbeitet? Die Financial Times berichtete am Sonntag, den 18. Oktober, unter Berufung auf zwei mit den Überlegungen des Unternehmens vertraute Personen über diese Gespräche. Sie gaben an, dass Anthropic lernen möchte, wie Anwälte ihre Mandanten vertreten und gleichzeitig faire Ergebnisse erzielen, so NDTV Profit in einer Zusammenfassung des Berichts. Anthropic lehnte eine Stellungnahme ab.ft.com+1

Das Thema ist von Bedeutung, da KI-Entwickler erwarten, dass persönliche Agenten künftig über Preise feilschen, Kundendienststreitigkeiten beilegen und Gehälter aushandeln werden. In diesen Gesprächen wird die Gegenseite oft ein anderer Agent mit konkurrierenden Zielen sein.

Normen, Aufsicht und signierte Vollmachten

Mit der Angelegenheit vertraute Personen sagten, dass Anthropic Verhandlungsnormen für Situationen untersucht hat, in denen KI-Systeme Nutzer mit widersprüchlichen Interessen vertreten, berichtete NDTV Profit. Das Unternehmen prüft zudem, wie oft Agenten während einer Verhandlung Rücksprache mit Menschen halten sollten. Eine weitere Frage ist, wie misstrauisch sie gegenüber anderen KI-Systemen sein sollten, ohne paranoid zu werden, so Capital Futures. Eine in Erwägung gezogene Idee sieht vor, Agenten mit digital signierten Dokumenten der Nutzer auszustatten, die deren Anweisungen, Ziele und die einzuhaltenden Regeln bestätigen.ndtvprofit.com+1

Experimente mit realen Gütern

Anthropic hat bereits zwei Marktplatz-Experimente veröffentlicht. Bei Project Deal schlossen Claude-Agenten, die 69 Mitarbeiter im Büro in San Francisco vertraten, 186 Geschäfte mit über 500 gelisteten Artikeln im Gesamtwert von etwas mehr als 4.000 Dollar ab. Das Unternehmen stellte zudem fest, dass Agenten, die auf dem leistungsstärkeren Opus-Modell liefen, bessere Deals erzielten als solche auf dem kleineren Haiku-Modell, so die Ankündigung von Anthropic.anthropic.com+1

Eine Folgestudie, Project Swap, wurde am 24. September veröffentlicht. Dabei wurden Agenten für 201 Mitarbeiter an sechs Standorten auf einen Handelsplatz geschickt, um Bücher zu tauschen. Die Hälfte der Agenten erhielt die Anweisung, rücksichtslos zu sein, die andere Hälfte sollte prosozial agieren. Anthropic stellte fest, dass das zugrunde liegende Modell für die Ergebnisse wichtiger war als die gegebenen Anweisungen. Agenten, die rücksichtslos sein sollten, schnitten etwas besser ab, während kooperative Agenten manchmal weniger bevorzugte Bücher akzeptierten, damit jeder Teilnehmer ein Buch erhielt, merkte NDTV Profit an.anthropic.com+1

Risiken von Manipulation und ungleichem Zugang

Externe Forscher weisen auf die Risiken hin. Michelle Vaccaro, Assistenzprofessorin an der Harvard Business School, führte mehr als 180.000 Verhandlungen zwischen KI-Agenten durch. In einem Fall versuchte ein Agent, vertrauliche Informationen durch Prompt-Injection aus einem anderen System zu ziehen, eine Technik, die Anweisungen im Text verbirgt, den eine KI liest, berichtete NDTV Profit. Vaccaro sagte, die Werkzeuge könnten Menschen, die sich keine professionellen Verhandlungsführer leisten können, Zugang zu ähnlichen Fähigkeiten verschaffen. Sollten die besten Systeme jedoch hauptsächlich wohlhabenderen Nutzern vorbehalten bleiben, könnte dies die Kluft vergrößern.ndtvprofit.com

Anthropic selbst schrieb Anfang des Jahres, dass die politischen und rechtlichen Rahmenbedingungen für KI-Modelle, die in unserem Namen handeln, schlichtweg noch nicht existieren und dass die Gesellschaft schnell handeln muss, um sich mit diesen Veränderungen auseinanderzusetzen.ndtvprofit.com