Respuesta breve.
Prompt injection puede desviar un asistente mediante instrucciones dentro de entradas o fuentes. Reduce el riesgo con permisos mínimos, separación de lectura y ejecución, validación de acciones y pruebas controladas. Ningún prompt aislado garantiza protección total.
- No otorgues autoridad a documentos externos.
- Haz cumplir permisos en las herramientas.
- Prueba y registra acciones fuera del alcance.
Cuando un asistente lee correos, archivos o páginas externas, encuentra texto que no proviene de quien definió la tarea. Ese contenido puede incluir instrucciones para desviarlo. Una integración conectada debe tratar las fuentes como información a revisar y aplicar permisos fuera de la conversación.
Por qué una fuente no debe convertirse en una orden
OWASP describe prompt injection como un riesgo en el que entradas pueden alterar de forma no prevista el comportamiento del modelo. Puede aparecer directamente en una solicitud o indirectamente en contenido que el sistema recupera. Filtrar frases conocidas no garantiza resolver todos los casos.
Ejemplo ilustrativo: un asistente resume un documento recibido de un tercero. Dentro aparece una instrucción para enviar el historial comercial a otro destino. El documento forma parte de la tarea de lectura; no debería autorizar una nueva operación sobre datos del negocio.
Reduce lo que el asistente puede hacer
Expón solo las herramientas necesarias para el recorrido. Si la tarea consiste en resumir, quizá no necesita ninguna función de envío. Limita los registros consultables y valida la identidad en los sistemas que ejecutan operaciones. Un acceso amplio hace que un desvío potencial tenga mayor alcance.
Separa lectura, preparación y ejecución. Una solicitud de acción debe pasar validaciones de datos y destino. En operaciones acordadas como sensibles, exige una aprobación que muestre qué cambiará; no una confirmación genérica que oculte el contenido real.
- Permisos mínimos por rol y tarea.
- Destinos y operaciones autorizados.
- Validación antes de escribir o enviar.
- Registro de acciones y revocación de accesos.
Prueba fuentes manipuladas en un entorno controlado
Crea documentos de prueba con instrucciones ajenas al objetivo y verifica que no cambian permisos ni generan acciones. Incluye contenido que contradiga instrucciones del negocio y solicitudes de información que el usuario no puede consultar. Usa datos ficticios para estas pruebas.
Comprueba también la respuesta del sistema de destino. Si un asistente intenta una acción no autorizada, el control debería impedirla aunque el modelo no haya reconocido el problema. La protección no debe descansar en un único mensaje de instrucciones.
Mantén una operación que permita detectar y corregir
Registra qué fuentes se consultaron y qué operaciones se intentaron, con acceso apropiado a los registros. Define cómo suspender una conexión y revisar casos afectados. Conservar trazabilidad útil no implica almacenar indefinidamente todo el contenido de los clientes.
Repite pruebas cuando agregues fuentes, herramientas o capacidades. Una integración que solo leía documentos cambia de alcance si luego puede enviar mensajes. Esa ampliación merece revisar permisos y controles antes de ponerla en uso.
Trata fuentes externas como datos y limita las acciones en los sistemas. Las instrucciones del modelo son una capa, no una garantía completa.
Preguntas frecuentes.
¿Basta con decirle a la IA que ignore instrucciones maliciosas?
No. Deben existir controles de acceso y validación independientes del texto de instrucciones.
¿Por qué aumenta el alcance del riesgo al añadir herramientas?
Porque una respuesta incorrecta puede convertirse en una operación sobre sistemas. Cada capacidad nueva requiere revisar sus límites.
Guía de Grupo Astra Digital. Los ejemplos son ilustrativos; el alcance de una implementación depende del proceso y las herramientas del negocio.
Para llevarlo a tu operación: Integración de IA para negocios en Chile y Latinoamérica ↗
← Volver al blog