Un agente de IA puede resumir un correo o buscar información en una web, pero el contenido que lee también puede incluir instrucciones dirigidas al sistema. Si tiene acceso a herramientas y datos de la empresa, una indicación oculta en una página o un archivo puede convertirse en un riesgo.
La pregunta no es solo si el agente resulta útil: es qué le permitimos hacer si interpreta mal una fuente. En el método de Digital Noa empezamos por la acción concreta y su impacto. Por ejemplo, un asistente puede leer un correo, extraer la consulta y preparar un borrador; el envío, la eliminación o los cambios en los datos esperan la confirmación de una persona hasta que se haya verificado el proceso.
Por qué los correos y las webs pueden influir en un agente
Un agente que consulta fuentes externas recibe texto que no has escrito tú: mensajes, páginas web, documentos, archivos adjuntos o resultados de búsqueda. Algunos contenidos pueden incluir frases como «ignora las instrucciones anteriores» o peticiones para enviar datos a otro lugar. Estas indicaciones pueden estar visibles o aparecer de forma menos evidente.
El problema es que un modelo de lenguaje interpreta tanto las instrucciones del usuario como el texto que está leyendo. No siempre distingue ambos papeles a la perfección. Por eso la seguridad no puede depender solo de una frase en el prompt que le pida ignorar contenidos maliciosos.
Empieza por los permisos mínimos
Antes de conectar una cuenta de correo, un CRM o una web, define la tarea y concede solo los accesos necesarios:
- si debe resumir, empieza con permisos de solo lectura;
- limita la búsqueda a las carpetas, webs o registros pertinentes;
- no conectes herramientas que no necesite;
- utiliza cuentas específicas y revoca los accesos cuando dejen de ser necesarios;
- separa la consulta de datos de la posibilidad de modificarlos o enviarlos.
Un agente que debe leer consultas no necesita borrar mensajes, cambiar datos de clientes o enviar correos a cualquier destinatario. Limitar los permisos reduce el impacto de un error o de un contenido manipulado.
Separa la lectura, la preparación y la acción
Una configuración más prudente divide el trabajo en pasos. El agente lee y organiza la información; después prepara un borrador o una propuesta; por último, una persona autorizada revisa y confirma las acciones que cambian datos, envían mensajes o producen efectos externos.
La confirmación humana resulta especialmente útil para pagos, eliminaciones, envío de documentos confidenciales, cambios en datos de clientes y comunicaciones difíciles de retirar. Para acciones sencillas y reversibles se pueden valorar automatismos más amplios, después de hacer pruebas y definir límites claros.
Establece límites también para las herramientas
Cuando la plataforma lo permita, limita no solo quién puede acceder, sino también qué puede hacer cada herramienta. Por ejemplo, una integración puede permitir buscar una ficha de cliente pero no modificarla; un asistente puede redactar un correo pero no enviarlo. Filtra los destinatarios, los dominios y los tipos de datos permitidos.
Las protecciones de la aplicación deben bloquear acciones no autorizadas aunque el agente interprete mal una página. Los permisos, las validaciones y las confirmaciones no deberían depender exclusivamente del modelo.
Registra y comprueba lo que hace
Conserva un registro proporcionado al uso: fuentes consultadas, herramientas activadas, decisiones propuestas, acciones confirmadas y errores. Evita recopilar datos sensibles que no hagan falta y define quién puede consultar los registros.
Antes de ampliar el acceso, prueba casos realistas: un correo normal, un mensaje con instrucciones inesperadas, un archivo adjunto y una petición que queda fuera de los límites. Comprueba si el agente se detiene, pide confirmación o intenta realizar la acción; verifica también que una persona no autorizada no pueda saltarse las reglas.
Lista de comprobación antes de conectar un agente
- ¿Cuál es la tarea concreta y qué datos necesita?
- ¿Puede empezar con acceso de solo lectura?
- ¿Qué acciones están prohibidas o necesitan confirmación?
- ¿Las herramientas aplican permisos independientes del prompt?
- ¿Quién revisa la actividad, los errores y los accesos?
- ¿Cómo se revocan las credenciales y conexiones?
Si estás valorando la IA en un proceso empresarial, empezar por los permisos y los puntos de control ayuda a determinar dónde puede ser útil sin convertir una prueba en un acceso demasiado amplio. Para ver un ejemplo de automatización con supervisión humana, consulta también IA y WordPress: qué merece realmente la pena automatizar.
