Anthropic lance un outil pour prouver quel modèle d’IA a répondu

Anthropic a publié FlashProve, un prototype de recherche open source qui utilise la cryptographie pour démontrer quel modèle d'IA a produit une réponse donnée, sans révéler les poids du modèle. L'entreprise a mis le code en ligne sur GitHub cette semaine, mais indique qu'elle n'a aucun projet de déploiement du système, que ce soit chez Anthropic ou ailleurs.techcrunch.com

Ce travail cible une lacune fondamentale en matière de confiance. Une personne utilisant un service d'IA ne peut généralement pas confirmer que le modèle pour lequel elle a payé est celui qui a réellement répondu, ou qu'un service de routage n'a pas discrètement substitué un modèle moins coûteux. Dans son annonce, Anthropic a déclaré que ces preuves pourraient "rendre plus difficile le détournement d'un chat par des attaquants, ou permettre aux évaluateurs de sécurité de vérifier que le modèle qu'ils testent est bien celui fourni aux clients".marktechpost.com+1

Fonctionnement

FlashProve repose sur un type de preuve cryptographique appelé zkSNARK et s'exécute en deux phases. Dans la phase hors ligne, le fournisseur du modèle publie un engagement, qui est une courte empreinte numérique liée à un ensemble exact de poids, tout en gardant ces derniers secrets. Dans la phase en ligne, le fournisseur génère une preuve pour chaque réponse, démontrant que le modèle engagé a produit ces jetons précis. Toute personne possédant l'engagement, le prompt et la réponse peut vérifier la preuve. Comme l'empreinte ne révèle pas les poids, les créateurs de modèles fermés pourraient utiliser ce système avec des modèles commerciaux.anthropic.com+1

Anthropic a testé FlashProve sur le modèle Llama 4 Maverick de Meta ↗ 1.44%, un modèle de type mélange d'experts (MoE) de 400 milliards de paramètres. Une seule Nvidia ↘ 3.17% H100 a généré des preuves à plus de 100 jetons par seconde, et chaque preuve pesait environ 19 Mo pour une requête de 1 024 jetons. La vérification s'effectue sur un processeur classique et prend 17 secondes avec 24 threads. La solidité du protocole est formellement prouvée dans le langage de preuve Lean 4.github.com+2

Limites et prochaines étapes

Le prototype présente encore des limites évidentes. La génération de preuves nécessite environ 70 à 95 fois plus de temps GPU qu'une inférence vLLM standard. Le contexte est limité à 1 024 jetons, une requête peut attendre environ cinq minutes pour que son lot soit prouvé, et les garanties ne couvrent que le décodage glouton, pas la sortie échantillonnée. Le dépôt GitHub, publié sous licence Apache 2.0, se décrit comme "un artefact de recherche : non maintenu, n'acceptant aucune contribution".tech.yahoo.com+3

L'équipe Frontier Red Team d'Anthropic a conçu le système avec des cryptographes externes, dont Alessandro Chiesa. Les chercheurs décrivent cette publication comme une invitation plutôt que comme un produit fini. "Nous partageons cela explicitement dans le but que d'autres examinent ce que nous avons fait, s'en emparent et l'améliorent", ont-ils écrit.x.com+1