Anthropic veröffentlicht Tool zur Verifizierung von KI-Antworten

Anthropic hat FlashProve veröffentlicht, einen Open-Source-Forschungsprototypen, der Kryptografie nutzt, um zu zeigen, welches KI-Modell eine bestimmte Antwort generiert hat, ohne die Gewichte des Modells preiszugeben. Das Unternehmen stellte den Code diese Woche auf GitHub zur Verfügung, erklärte jedoch, dass es keine Pläne gibt, das System bei Anthropic oder anderswo einzusetzen.techcrunch.com

Die Arbeit zielt auf eine grundlegende Vertrauenslücke ab. Wer einen KI-Dienst nutzt, kann normalerweise nicht bestätigen, dass das Modell, für das er bezahlt hat, tatsächlich geantwortet hat oder dass ein Routing-Dienst nicht stillschweigend ein billigeres Modell untergeschoben hat. In der Ankündigung erklärte Anthropic, dass die Beweise es Angreifern erschweren könnten, einen Chat zu kapern, oder es Sicherheitsprüfern ermöglichen könnten, zu verifizieren, dass das Modell, das sie testen, dasselbe ist, das den Kunden bereitgestellt wird.marktechpost.com+1

Funktionsweise

FlashProve basiert auf einer kryptografischen Beweisform namens zkSNARK und läuft in zwei Phasen ab. In der Offline-Phase veröffentlicht ein Modellanbieter eine Verpflichtung, einen kurzen Fingerabdruck, der an einen exakten Satz von Gewichten gebunden ist, während die Gewichte verborgen bleiben. In der Online-Phase generiert der Anbieter für jede Antwort einen Beweis, der zeigt, dass das verpflichtete Modell genau diese Tokens erzeugt hat. Jeder, der über die Verpflichtung, den Prompt und die Antwort verfügt, kann den Beweis prüfen. Da der Fingerabdruck die Gewichte nicht offenlegt, könnten Hersteller geschlossener Modelle das System mit kommerziellen Modellen nutzen.anthropic.com+1

Anthropic testete FlashProve mit Metas ↘ 3.96% Llama 4 Maverick, einem Mixture-of-Experts-Modell mit 400 Milliarden Parametern. Eine einzelne Nvidia ↘ 9.26% H100 generierte Beweise mit über 100 Tokens pro Sekunde, wobei jeder Beweis etwa 19 MB für eine Anfrage mit 1.024 Tokens groß war. Die Verifizierung läuft auf einer gewöhnlichen CPU und dauert 17 Sekunden bei 24 Threads. Die Korrektheit des Protokolls ist in der Beweissprache Lean 4 formal bewiesen.github.com+2

Grenzen und nächste Schritte

Der Prototyp hat noch deutliche Grenzen. Die Beweisführung benötigt etwa 70 bis 95 Mal mehr GPU-Zeit als eine Standard-vLLM-Inferenz. Der Kontext ist auf 1.024 Tokens begrenzt, eine einzelne Anfrage kann etwa fünf Minuten warten, bis ihr Batch bewiesen ist, und die Garantien decken nur Greedy-Decoding ab, nicht jedoch samplende Ausgaben. Das GitHub-Repository, das unter der Apache 2.0-Lizenz veröffentlicht wurde, bezeichnet sich selbst als Forschungsobjekt, das nicht gewartet wird und keine Beiträge akzeptiert.tech.yahoo.com+3

Das Frontier Red Team von Anthropic entwickelte das System gemeinsam mit externen Kryptografen, darunter Alessandro Chiesa. Die Forscher beschreiben die Veröffentlichung eher als Einladung denn als fertiges Produkt. Wir teilen dies ausdrücklich mit dem Ziel, dass andere sich ansehen, was wir getan haben, es aufgreifen und verbessern, schrieben sie.x.com+1