¿Qué es Prompt Injection?
Son comandos engañosos dados para manipular a la inteligencia artificial y hacer que eluda las reglas de seguridad.
Definición
La inyección de prompts es un método de engaño utilizado por personas malintencionadas para sortear los filtros de seguridad de los sistemas de inteligencia artificial. Su objetivo es lograr que el modelo realice acciones dañinas que normalmente no debería hacer, mediante juegos de palabras especialmente diseñados.
Cómo funciona
Los atacantes dan instrucciones al modelo como si estuvieran escribiendo un nuevo escenario que flexibiliza las reglas. El modelo cae en esta astuta manipulación, olvida sus barreras de seguridad y comienza a generar resultados no deseados.
Dónde se usa
Aparece como una vulnerabilidad de seguridad en los chatbots, en la atención al cliente impulsada por inteligencia artificial y en todas las aplicaciones públicas que utilizan grandes modelos de lenguaje.
Suele confundirse con
Es diferente de los métodos clásicos de piratería informática porque aquí no se utilizan códigos de computadora, sino enteramente lenguaje cotidiano y juegos de palabras.
Preguntas y respuestas
¿Funciona la inyección de prompts en todos los modelos de inteligencia artificial?
A medida que los modelos evolucionan y se añaden capas de seguridad adicionales, es más difícil cerrar estas vulnerabilidades, pero siempre pueden surgir nuevos métodos.
Términos relacionados
Herramientas relacionadas
Esta explicación se redactó en lenguaje sencillo para TreScout con IA y se tradujo automáticamente del original en turco · prevalece la versión turca. Si algo le parece erróneo o incompleto, escriba a hello@trescout.com. Leer en turco →