Anthropic lanza una herramienta para verificar qué modelo de IA respondió

Anthropic ha publicado FlashProve, un prototipo de investigación de código abierto que utiliza criptografía para demostrar qué modelo de IA generó una respuesta determinada, sin revelar los pesos del modelo. La compañía publicó el código en GitHub esta semana, pero asegura que no tiene planes de implementar el sistema, ni en Anthropic ni en ningún otro lugar.techcrunch.com

El trabajo aborda una brecha fundamental en la confianza. Quien utiliza un servicio de IA generalmente no puede confirmar que el modelo por el que pagó fue el que realmente respondió, o que un servicio de enrutamiento no sustituyó el modelo por uno más barato. En su anuncio, Anthropic señaló que estas pruebas podrían "dificultar que los atacantes secuestren un chat, o permitir que los evaluadores de seguridad verifiquen que el modelo que están probando es el mismo que se ofrece a los clientes".marktechpost.com+1

Cómo funciona

FlashProve se basa en un tipo de prueba criptográfica llamada zkSNARK y funciona en dos fases. En la fase offline, el proveedor del modelo publica un compromiso, que es una huella digital corta vinculada a un conjunto exacto de pesos mientras estos permanecen ocultos. En la fase online, el proveedor genera una prueba para cada respuesta que demuestra que el modelo comprometido produjo esos tokens exactos. Cualquier persona que tenga el compromiso, el prompt y la respuesta puede verificar la prueba. Debido a que la huella digital no expone los pesos, los creadores de modelos cerrados podrían utilizar el sistema con modelos comerciales.anthropic.com+1

Anthropic probó FlashProve con el modelo Llama 4 Maverick de Meta ↗ 2.36%, un modelo de mezcla de expertos de 400 mil millones de parámetros. Una sola Nvidia ↗ 2.29% H100 generó pruebas a más de 100 tokens por segundo, y cada prueba ocupó unos 19 MB para una solicitud de 1.024 tokens. La verificación se ejecuta en una CPU común y toma 17 segundos con 24 hilos. La solidez del protocolo está formalmente probada en el lenguaje de pruebas Lean 4.github.com+2

Límites y próximos pasos

El prototipo aún tiene limitaciones claras. La generación de pruebas requiere aproximadamente entre 70 y 95 veces el tiempo de GPU de una inferencia vLLM estándar. El contexto está limitado a 1.024 tokens, una solicitud puede esperar unos cinco minutos para que su lote sea verificado, y las garantías solo cubren la decodificación codiciosa, no la salida muestreada. El repositorio de GitHub, publicado bajo la licencia Apache 2.0, se define a sí mismo como "un artefacto de investigación: no se mantiene y no acepta contribuciones".tech.yahoo.com+3

El equipo Frontier Red Team de Anthropic construyó el sistema junto a criptógrafos externos, incluido Alessandro Chiesa. Los investigadores describen el lanzamiento como una invitación más que como un producto terminado. "Compartimos esto explícitamente con el objetivo de que otros observen lo que hemos hecho, lo tomen y lo mejoren", escribieron.x.com+1