Las pruebas de penetración con LLM están ganando popularidad, al igual que todo lo que funciona con IA. Las capacidades de procesamiento que ofrece esta tecnología no tienen precedentes, y su potencial no hace más que crecer, ya que atrae miles de millones de dólares en inversiones cada año.
En este momento, el crecimiento de los LLM es un factor importante no solo para la ciberseguridad, sino también para la seguridad económica mundial. Mucha gente habla de ello, pero la verdad es que, a pesar de todos los riesgos, el crecimiento de la IA es imparable. Por lo tanto, lo mejor que se puede hacer es aprovechar todo su potencial para proteger los sistemas de su empresa, lo que significa implementar pruebas de penetración con LLM. Sin embargo, para obtener los mejores resultados, es necesario ser consciente de esos riesgos y mitigarlos de forma eficaz. En este artículo, los expertos en pruebas de penetración e IA de QAwerk explicarán las ventajas y desventajas de utilizar agentes LLM y cómo hacerlo de forma segura.
¿Qué son las pruebas de penetración con agentes LLM?
Comencemos por definir qué son realmente las pruebas de penetración LLM. En términos sencillos, este tipo de pruebas utiliza herramientas basadas en modelos de lenguaje grandes (LLM) para intentar penetrar en sus sistemas. Básicamente, estos agentes, impulsados por la inteligencia artificial, simulan las acciones de posibles atacantes para ayudarle a encontrar y evaluar vulnerabilidades.
Dicho esto, los expertos de QAwerk identifican actualmente dos categorías de implementación de agentes LLM en ciberseguridad:
- Uso de plataformas de pruebas de penetración con agentes: estas soluciones ayudan a automatizar en cierta medida los servicios tradicionales de pruebas de penetración. A pesar de la palabra «agente» en la mezcla, estas soluciones solo están parcialmente automatizadas. Por lo tanto, los evaluadores humanos están muy presentes en la mezcla y ejercen un control importante sobre los procesos. Los LLM ayudan a coordinar las herramientas de seguridad existentes. Sin embargo, se lleva a cabo con múltiples barreras de seguridad y supervisión humana.
- Implementación de agentes LLM/GenAI de equipos rojos: se utilizan para las pruebas de aplicaciones LLM. Ayudan a realizar un análisis de seguridad exhaustivo emulando la inyección de comandos, la fuga de datos, los jailbreaks y el uso de herramientas inseguras. En este caso, las máquinas realizan las pruebas de seguridad LLM de forma más independiente de los humanos.
Sin embargo, la verdadera pregunta es si las pruebas de penetración LLM son realmente seguras y fiables. Existen riesgos que podrían parecer paranoicos, sacados de películas de ciencia ficción. Sin embargo, según numerosos estudios e informes, incluida una evaluación de la Comisión Australiana de Competencia y Consumo, así como investigaciones de Deloitte y McKinsey, la IA puede ser tanto amiga como enemiga en materia de ciberseguridad. A continuación, desglosaremos los puntos principales de cómo se utilizan las pruebas LLM en el análisis de seguridad y discutiremos sus fortalezas y debilidades.
¿Cómo funciona la prueba de penetración LLM?
Aunque no hay dos herramientas exactamente iguales, en general, el proceso de prueba de penetración con agentes LLM es similar al siguiente:
- Definición del alcance y las reglas de participación
Este es un paso totalmente humano, ya que el ingeniero de pruebas de penetración deberá definir qué está dentro del alcance y qué está prohibido. También debe enumerar los criterios para el éxito. - Ingestión de contexto
Este paso requerirá una combinación de habilidades humanas y supervisión con el procesamiento del modelo de aprendizaje automático. Aquí es donde el agente LLM aprende a comprender los objetivos, las pistas de arquitectura, las restricciones de autenticación, los registros y los activos conocidos. - Razonamiento y planificación de LLM
En esta etapa, los agentes LLM deben proponer un plan de pruebas de penetración priorizado. Debe basarse en una evaluación lógica de riesgos basada en los datos consumidos por el modelo. - Orquestación y ejecución de herramientas
La IA agencial y los controles de la plataforma colaboran en este paso, presentando la combinación definitiva de pruebas automatizadas. El agente activa las acciones de escaneo o validación según sea necesario utilizando herramientas integradas o API de la plataforma. - Percepción e iteración
Aquí es donde las pruebas de penetración con LLM aprovechan al máximo las capacidades del modelo. Interpretará los resultados de las pruebas y tomará medidas, como actualizar hipótesis y elegir las siguientes pruebas. - Empaquetado de pruebas
Este paso puede ser gestionado conjuntamente por el experto humano y las herramientas de IA automatizadas. Implica redactar notas de reproducibilidad, enumerar los componentes afectados y proporcionar la justificación de la gravedad. - Verificación humana y generación de informes
La intervención humana es siempre imprescindible en programas maduros y complejos. En este caso de pruebas de penetración con LLM, confirmarán la explotabilidad y el impacto en el negocio, además de eliminar los falsos positivos. - Verificación de la corrección
En esencia, se trata de un paso en el que el agente vuelve a ejecutar las pruebas específicas para confirmar que la vulnerabilidad se ha corregido con éxito.
Tenga en cuenta que estos procesos pueden variar significativamente entre las distintas herramientas. Algunos de los agentes LLM de pruebas de penetración más populares en la actualidad son:
- Terra Security
- Horizon3.ai NodeZero
- PentestGPT
- PentestAgent (marco)
- AutoPentester
- Asistente «Caido»
- NVIDIA «garak»
Pruebas de penetración con LLM: ventajas y desventajas
El uso de agentes LLM en la ciberseguridad tiene ventajas y desventajas. Sin embargo, el factor más importante podría no ser el hecho de que se trate de una situación de «amigo o enemigo», sino que sea inevitable. En este momento, la tecnología y la digitalización global están avanzando tan rápidamente que la IA se ha convertido en una parte integral de nuestra vida cotidiana. También la utilizan los propios atacantes. Por lo tanto, es imperativo utilizar software y herramientas de seguridad de red basados en LLM, ya que son los únicos capaces de hacer frente a las amenazas basadas en LLM.
Objetivamente, hay que tener en cuenta tanto las ventajas como las desventajas de las pruebas de penetración LLM. Sin embargo, el objetivo debe ser comprender cuál es la mejor manera de implementarlas y gestionar los riesgos asociados a la tecnología de IA, no decidir si estas pruebas deben utilizarse o no. En este momento, saltarse este tipo de pruebas hace que sus sistemas sean vulnerables a las amenazas a nivel de IA por defecto.
Ventajas del uso de agentes LLM en la ciberseguridad
Las ventajas de las pruebas de penetración con agentes LLM se pueden resumir en dos sencillas palabras: aumento de la productividad. La implementación de esta tecnología como parte de un proceso automatizado, especialmente para las pruebas de IA, mejora la precisión, la cobertura, la exhaustividad y la velocidad. Los modelos de aprendizaje automático pueden entrenarse para identificar patrones que son casi imperceptibles para el ojo humano y realizar pruebas que son imposibles de replicar manualmente debido a los enormes recursos que requieren.
Podemos definir las principales ventajas de las pruebas de penetración con LLM de la siguiente manera:
- Amplitud de cobertura
Los agentes de IA pueden cubrir una amplia superficie de ataque y mantener las pruebas de forma continua durante toda la corrección para garantizar el máximo nivel de exhaustividad durante los cambios. - Velocidad de las pruebas
Los modelos de aprendizaje automático realizan pruebas con extrema rapidez, lo que les permite procesar más datos que un equipo de probadores de control de calidad en una fracción del tiempo y con un margen de error mínimo. - «Pegamento» entre herramientas y contexto
Mediante el uso de puentes de tipo MCP (Protocolo Modelo-Contexto), los LLM pueden consultar el contexto de exposición e impulsar los flujos de trabajo de forma natural. - Informes detallados
Los LLM son muy eficaces a la hora de convertir datos caóticos en informes coherentes, formateados según sus especificaciones exactas y visualizados para facilitar su comprensión. - Seguridad de las aplicaciones GenAI
Los agentes especializados pueden realizar pruebas de penetración LLM, sondeando sistemáticamente los modos de fallo que las pruebas de penetración habituales no cubren, lo que hace que la propia IA sea más segura.
Riesgos de las pruebas de seguridad LLM
Los riesgos y las desventajas generales de implementar pruebas de penetración con agentes LLM se asemejan en gran medida al riesgo de utilizar IA agencial en general (véase la imagen anterior). Los aspectos más destacados que hay que tener en cuenta al pensar en los posibles problemas de las pruebas de penetración LLM son los siguientes:
- Alucinaciones y exceso de confianza
Aún no hemos descubierto una forma de eliminar por completo las alucinaciones de la IA, y hay que tener en cuenta que incluso contar con un humano en el proceso no ofrece una protección del 100 % contra las decisiones incorrectas del agente. La razón es que los LLM pueden parecer extremadamente seguros y proporcionar argumentos aparentemente sólidos para respaldar sus opiniones, incluso cuando están completamente equivocados. Para ponerlo en un contexto comprensible, los LLM pueden ser extremadamente obstinados y pueden persuadir inadvertidamente a los humanos que verifican su rendimiento para que estén de acuerdo con ellos ofreciendo datos falsos. - Falsos positivos o negativos
Estos pueden ocurrir con más frecuencia en sistemas con lógica empresarial compleja, flujos de autorización y exploits de varios pasos. - Exposición de datos
Si el canal de datos envía solicitudes a modelos externos, se corre el riesgo de filtrar información confidencial. Este riesgo puede mitigarse estableciendo normas sobre la ubicación de los datos y prohibiendo las llamadas externas. - Seguridad y gobernanza
A medida que aumenta la autonomía del agente, también lo hace el riesgo de que haga algo fuera de sus políticas. Por ejemplo, las pruebas de penetración con agentes LLM pueden volverse excesivamente agresivas sin unas barreras de protección estrictas.
La última consideración a tener en cuenta es que los LLM facilitan las pruebas, haciéndolas más rápidas, amplias, exhaustivas y, en cierta medida, más precisas. Sin embargo, la IA sigue sin poder funcionar bien en sistemas complejos y sofisticados. Por lo tanto, el trabajo de pruebas intrincadas que pueden detectar vulnerabilidades casi invisibles, pero peligrosas, sigue estando reservado exclusivamente a expertos humanos que pueden pensar de forma creativa y «fuera de lo común».
Cómo sacar el máximo partido a las pruebas de penetración LLM
Si desea obtener los mejores resultados de cualquier tipo de prueba de software, especialmente en términos de análisis de seguridad, debe tener en cuenta dos cosas. La primera es que la combinación de la experiencia humana y el poder del aprendizaje automático ofrece la máxima precisión en los resultados de las pruebas. Por lo tanto, no debería tratarse de elegir entre pruebas LLM manuales o automatizadas. La mejor respuesta es ambas, especialmente cuando la estrategia la desarrollan profesionales con experiencia en pruebas de penetración.
La segunda cosa a tener en cuenta es que las pruebas de penetración con agentes LLM pueden no ser completamente seguras. Sin embargo, nada es realmente 100 % seguro con la tecnología de IA, ya que se está desarrollando muy rápidamente. Es un riesgo necesario que debe aprender a mitigar, ya que los atacantes, sus verdaderos enemigos, utilizarán soluciones de IA en su contra. Por lo tanto, la única forma de desarrollar la resiliencia es aprovechar el poder de los LLM para reforzar sus defensas.
Además, no olvide que las verificaciones de seguridad deben ser coherentes. Por lo tanto, la frecuencia de las pruebas de penetración afecta a las defensas de su sistema tanto como la inclusión de agentes LLM en el proceso.
Teniendo en cuenta todo esto, aquí tiene algunos puntos que le ayudarán a elaborar una estrategia de pruebas de penetración de software exhaustiva y eficaz:
- La supervisión humana es esencial
Los pentesters experimentados serán más eficaces durante la definición del alcance y el establecimiento de controles legales y éticos. También son esenciales para validar el impacto y reducir el ruido. Esto significa que los profesionales humanos deben filtrar los resultados del agente y decidir qué se debe evaluar o cambiar realmente. Además, deben ser responsables de la comunicación ejecutiva y del descubrimiento de fallos lógicos. - Las barreras de seguridad para las pruebas de penetración de LLM son obligatorias
Para que las pruebas de penetración con LLM sean tu aliado, es necesario establecer límites estrictos para la IA agencial y su implementación. Las barreras de seguridad necesarias deben abarcar un alcance estricto, puertas de aprobación de acciones, entornos de prueba aislados, procedencia sólida y registro. Además, es imprescindible establecer políticas estrictas de gobernanza de datos que se ajusten a los requisitos de cumplimiento que debe cumplir tu empresa. - El enfoque híbrido es el futuro de las pruebas LLM
Por el momento, la mejor estrategia de pruebas de penetración es la «híbrida», lo que significa que incluye pruebas agenticas continuas para una cobertura máxima y probadores humanos para guiar el proceso. Los agentes de IA son un excelente acelerador, pero no sustituyen la capacidad humana para identificar y analizar patrones complejos teniendo en cuenta los objetivos estratégicos de la empresa.
Si está listo para empezar a crear e implementar una estrategia de pruebas de penetración LLM, QAwerk estará encantado de compartir su experiencia y ayudarle con un plan adaptado a sus necesidades específicas. Póngase en contacto con nosotros hoy mismo para empezar a mejorar la seguridad de su sistema de la manera más eficiente.
Su muestra gratuita de revisión del código de seguridad
