Los modelos de lenguaje se han convertido en una nueva superficie de ataque, pero la mayoría de las organizaciones no tienen forma de saber qué modelo está detrás de un endpoint ni de evaluarlo con criterios de seguridad ofensiva. LLMInspector es una suite de pentesting diseñada para auditar sistemas basados en LLMs en producción. Utiliza análisis de comportamiento, fingerprints semánticos y pruebas de seguridad para identificar modelos, detectar vulnerabilidades y evaluar riesgos en APIs que exponen capacidades de IA. Esta sesión mostrará cómo funciona el motor de fingerprinting híbrido (heurístico + semántico), capaz de diferenciar entre modelos open source y comerciales mediante respuestas estructuradas, patrones de rechazo, precisión matemática, estilo, adherencia a formatos y embeddings comparativos. También se cubrirá la identificación de modelos desconocidos expuestos vía Ollama u otros wrappers, y cómo se puede mantener una base de fingerprints persistente para análisis recurrentes. La segunda parte estará centrada en el módulo de pentesting: Un set de pruebas basadas en OWASP LLM Top 10, incluyendo prompt injection, data leakage, bypasses de restricciones, comportamiento inseguro, glitch-tokens, desbordes lógicos y generación de contenido malicioso. Se mostrarán ejemplos reales de explotación y cómo LLMInspector se puede integrar con herramientas como Burp Suite para extender el análisis a flujos web y auditorías dinámicas. El objetivo es demostrar cómo un LLM puede auditarse, fingerprintarse y atacarse igual que cualquier otro componente crítico, y por qué esta capacidad es ya esencial en cualquier evaluación seria de sistemas con IA - https://github.com/llminspector/llminspector
Speakers: