O que é Prompt Injection?
São comandos enganosos dados para enganar a inteligência artificial e fazer com que ela ultrapasse as regras de segurança.
Definição
O prompt injection é um método de manipulação usado por pessoas mal-intencionadas para ignorar os filtros de segurança dos sistemas de inteligência artificial. Ele visa fazer com que o modelo realize operações nocivas que ele normalmente não faria, por meio de jogos de palavras especialmente projetados.
Como funciona
Os invasores instruem o modelo como se estivessem escrevendo um novo cenário que flexibiliza as regras. O modelo cai nessa orientação astuta, esquece suas barreiras de segurança e começa a produzir saídas indesejadas.
Onde é usado
Ele surge como uma vulnerabilidade de segurança em chatbots, atendimento ao cliente alimentado por inteligência artificial e em todos os aplicativos públicos que usam grandes modelos de linguagem.
Costuma ser confundido com
É diferente dos métodos de hacking clássicos, pois aqui não se usam códigos de computador, mas sim linguagem cotidiana e jogos de palavras.
Perguntas e respostas
O prompt injection funciona em todos os modelos de inteligência artificial?
À medida que os modelos evoluem e camadas adicionais de segurança são adicionadas, fica mais difícil fechar essas brechas, mas novos métodos podem sempre surgir.
Termos relacionados
Ferramentas relacionadas
Esta explicação foi escrita em linguagem simples para a TreScout com IA e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →