A medida que los LLM se vuelven más complejos y se utilizan en una variedad más amplia de tareas (especialmente en forma de agentes, que pueden interactuar con archivos de computadora, sitios web y códigos de terceros, así como con otros agentes), es difícil para los equipos de personas mantenerse al día con todos los tipos de ataques que pueden tener lugar. «La superficie de riesgo crece y el radio de la explosión también crece», dice Nikhil Kandpal, científico investigador de OpenAI, cocreador de GPT-Red.
OpenAI creó GPT-Red para preparar su proceso de pruebas de seguridad para el futuro. «A medida que haya modelos más capaces disponibles, ya habremos diseñado el sistema que puede descubrir nuevos modos de ataque», dice Dylan Hunn, científico investigador de la empresa y cocreador de GPT-Red. Los investigadores dicen que ya han ideado nuevos tipos de ataques que no se habían visto antes.
OpenAI centró la mayor parte de sus esfuerzos en un tipo de ataque conocido como inyección rápida, en el que un hacker desliza instrucciones de un LLM para obligarlo a hacer cosas que sus desarrolladores o usuarios no quieren, como copiar información confidencial, sabotear el código base de una empresa o generar resultados embarazosos o dañinos. En teoría, estas instrucciones pueden estar ocultas en cualquier texto que el LLM pueda encontrar: en código o en un sitio web, por ejemplo.
dojo de entrenamiento
Para construir GPT-Red, los investigadores de OpenAI tomaron un LLM que no había sido capacitado como hacker y lo configuraron en lo que se conoce como un bucle de reproducción automática con varios otros modelos. Su objetivo era intentar atacar a los otros modelos; su objetivo era intentar defenderse. A lo largo de muchas rondas de juego, GPT-Red mejoró cada vez más en atacar a otros LLM, y esos LLM mejoraron cada vez más en defenderse de los ataques.
