Un agente AI può riassumere un’email o cercare informazioni su un sito, ma i contenuti che legge potrebbero anche contenere istruzioni rivolte al sistema. Se l’agente ha accesso a strumenti e dati aziendali, una richiesta nascosta in una pagina o in un allegato può diventare un rischio concreto.
La domanda non è solo se l’agente sia utile: è che cosa gli permettiamo di fare quando interpreta male una fonte? Nel metodo Digital Noa partiamo dall’azione concreta e dal suo impatto. Per esempio, un assistente può leggere un’email, estrarre la richiesta e preparare una bozza; invio, cancellazione o modifica dei dati restano dietro una conferma umana finché il processo non è stato verificato.
Perché email e siti possono influenzare un agente
Un agente che consulta fonti esterne riceve testo che non hai scritto tu: messaggi, pagine web, documenti, allegati o risultati di ricerca. Alcuni contenuti possono includere frasi come “ignora le istruzioni precedenti” o richieste di inviare dati altrove. Queste istruzioni possono essere visibili oppure inserite in modo meno evidente.
Il problema è che un modello linguistico interpreta sia le istruzioni dell’utente sia il testo che sta leggendo. Non sempre riesce a distinguere perfettamente i due ruoli. Per questo la sicurezza non può dipendere soltanto da una frase nel prompt che gli chiede di ignorare i contenuti malevoli.
Parti dalle autorizzazioni minime
Prima di collegare una casella email, un CRM o un sito, definisci il compito e concedi solo gli accessi necessari:
- se deve riassumere, inizia con permessi di sola lettura;
- limita la ricerca a cartelle, siti o record pertinenti;
- non collegare strumenti che non servono alla mansione;
- usa account dedicati e revoca gli accessi quando non sono più necessari;
- separa la consultazione dei dati dalla possibilità di modificarli o inviarli.
Un agente che deve leggere richieste non ha automaticamente bisogno di cancellare messaggi, cambiare dati clienti o inviare email a chiunque. Ridurre le autorizzazioni limita l’impatto di un errore o di un contenuto manipolato.
Separa lettura, preparazione e azione
Una configurazione più prudente divide il lavoro in passaggi. L’agente legge e organizza le informazioni; poi prepara una bozza o una proposta; infine una persona autorizzata controlla e conferma le azioni che modificano dati, inviano comunicazioni o producono effetti esterni.
La conferma umana è particolarmente utile per pagamenti, cancellazioni, invio di documenti riservati, modifiche ai dati dei clienti e comunicazioni che non si possono richiamare facilmente. Per operazioni semplici e reversibili si possono valutare automatismi più ampi, dopo prove e limiti precisi.
Metti vincoli anche sugli strumenti
Quando una piattaforma lo consente, limita non solo chi può accedere, ma anche cosa ogni strumento può fare. Per esempio, un’integrazione può consentire di cercare una scheda cliente ma non di modificarla; un assistente può preparare un’email ma non inviarla. Filtra i destinatari, i domini e i tipi di dato ammessi.
Le protezioni dell’applicazione devono bloccare le operazioni non autorizzate anche se l’agente interpreta male una pagina. Controlli di permesso, validazioni e conferme non dovrebbero essere affidati soltanto al modello.
Registra e verifica quello che fa
Conserva un registro proporzionato all’uso: fonti consultate, strumenti attivati, decisioni proposte, azioni confermate ed errori. Evita di raccogliere dati sensibili inutili e definisci chi può consultare i registri.
Prima di estendere l’accesso, prova casi realistici: un’email normale, un messaggio con istruzioni inattese, un allegato e una richiesta che esce dai limiti. Verifica se l’agente si ferma, chiede conferma o tenta comunque l’azione; controlla anche che un utente non autorizzato non possa aggirare le regole.
Una checklist prima di collegare un agente
- Qual è il compito preciso e quali dati servono?
- L’accesso può partire in sola lettura?
- Quali azioni sono vietate o richiedono conferma?
- Gli strumenti applicano permessi indipendenti dal prompt?
- Chi controlla attività, errori e accessi nel tempo?
- Come si revocano credenziali e collegamenti?
Se stai valutando l’AI in un processo aziendale, partire dai permessi e dai punti di controllo aiuta a capire dove può essere utile senza trasformare un test in un accesso troppo ampio. Per un esempio di attività automatizzata con verifica umana, leggi anche AI e WordPress: cosa vale davvero la pena automatizzare?.
