Probanza Evidence

Publica qué detecta Probanza, con qué precisión y sobre qué código, y también lo que deliberadamente no afirma. Todo se puede reproducir desde una copia limpia.

El problema

Las cifras de una herramienta de seguridad valen poco si nadie puede comprobarlas, y la prosa escrita a mano termina desviándose de los datos.

Qué construyó Aztli

• Cada número se calcula en el build desde los CSV etiquetados. El build falla si el texto se desvía de las etiquetas.
• Un corpus de 20 productos open source de IA reales, fijados a commits exactos, no fixtures sintéticos.
• verify.py, un script sin dependencias que recalcula precisión y recall desde las etiquetas publicadas.
• Un ciclo de vida de reglas documentado: provisional, validada y activada por defecto.

Resultado verificable

Inyección por contenido externo: 28 hallazgos en 6 productos, precisión 1.000. Respuestas del modelo sin validar: 1 254 hallazgos en 11 productos, precisión 0.991. Reglas de negocio dentro de prompts: 6 en 4 productos, precisión 1.000.

Stack

• Python
• CSV etiquetados
• Sitio estático

Repositorio público. Expediente en probanza.divergia.ai.