Anthropic lanserar verktyg för att verifiera AI-svar

Anthropic har släppt FlashProve, en forskningsprototyp med öppen källkod som använder kryptografi för att visa vilken AI-modell som producerat ett visst svar, utan att avslöja modellens vikter. Företaget publicerade koden på GitHub denna vecka men säger att de inte har några planer på att driftsätta systemet, varken hos Anthropic eller någon annanstans.techcrunch.com

Arbetet adresserar ett grundläggande förtroendegap. Den som använder en AI-tjänst kan vanligtvis inte bekräfta att modellen de betalar för faktiskt har svarat, eller att en rutt-tjänst inte i tysthet bytt ut den mot en billigare modell. I sitt tillkännagivande sade Anthropic att bevisen kan göra det svårare för angripare att kapa en chatt, eller göra det möjligt för säkerhetsutvärderare att verifiera att modellen de testar är densamma som levereras till kunderna.marktechpost.com+1

Hur det fungerar

FlashProve bygger på en typ av kryptografiskt bevis som kallas zkSNARK och körs i två faser. I den offline-fasen publicerar en modell-leverantör ett åtagande, vilket är ett kort fingeravtryck kopplat till en exakt uppsättning vikter medan vikterna förblir dolda. I online-fasen genererar leverantören ett bevis för varje svar som visar att den åtagna modellen producerade just dessa tokens. Alla som har åtagandet, prompten och svaret kan kontrollera beviset. Eftersom fingeravtrycket inte exponerar vikterna kan tillverkare av stängda modeller använda systemet med kommersiella modeller.anthropic.com+1

Anthropic testade FlashProve på Meta:s ↗ 1.44% Llama 4 Maverick, en modell med 400 miljarder parametrar. En enskild Nvidia ↘ 3.17% H100 genererade bevis med över 100 tokens per sekund, och varje bevis var cirka 19 MB för en förfrågan på 1 024 tokens. Verifieringen körs på en vanlig CPU och tar 17 sekunder med 24 trådar. Protokollets korrekthet är formellt bevisad i bevis-språket Lean 4.github.com+2

Begränsningar och nästa steg

Prototypen har fortfarande tydliga begränsningar. Att generera bevis tar ungefär 70 till 95 gånger mer GPU-tid än standard vLLM-inferens. Kontexten är begränsad till 1 024 tokens, en enskild förfrågan kan behöva vänta cirka fem minuter på att dess batch ska bevisas, och garantierna täcker endast girig avkodning, inte samplad utdata. GitHub-repositoriet, som släppts under Apache 2.0-licensen, beskriver sig självt som ett forskningsartefakt som inte underhålls och inte tar emot bidrag.tech.yahoo.com+3

Anthropics Frontier Red Team byggde systemet tillsammans med externa kryptografer, inklusive Alessandro Chiesa. Forskarna beskriver releasen som en inbjudan snarare än en färdig produkt. Vi delar detta uttryckligen med målet att andra ska titta på vad vi har gjort, ta det och förbättra det, skrev de.x.com+1