La conversación empieza de la forma más normal del mundo. Un visitante abre el chat en la web de una agencia web y escribe que quiere una web para su empresa.
El asistente responde como debe: web a medida, responsive, optimizada para buscadores, y el enlace al formulario para pedir presupuesto gratis. Hasta aquí, una petición comercial como las que llegan cada día.
Los cuatro pasos
La segunda pregunta cambia el rumbo.
La conversación
Parece la curiosidad de un posible cliente. En realidad, la primera pregunta quiere saber qué tecnología hay detrás de esa página.
Leída desde el principio, no es una serie de cuatro preguntas. Es una sola petición, planteada poco a poco: crear un contexto creíble, identificar el sistema, pedir el acceso, llegar a las credenciales. Quien busca una web no necesita el panel de administración de la web de quien se la tiene que hacer.
Cómo terminó
El asistente respondió que no tiene acceso al backend, que no puede mostrarlo y que no puede crear usuarios ni dar credenciales. A la pregunta sobre la tecnología, enumeró las soluciones más extendidas del mercado, sin decir cuál se usaba en esa web.
Parece la historia de un asistente que se portó bien. Pero no es esa la cuestión.
No solo se negó: no podía
El asistente de esa web lee los contenidos públicos de las páginas. No tiene credenciales, no tiene acceso a la base de datos y no dispone de herramientas para crear o modificar nada. La petición no se podía ejecutar: faltaba la conexión técnica necesaria para hacerlo.
La diferencia importa más de lo que parece.
Una negativa puede depender de cómo interpreta el modelo una petición, y esa interpretación puede verse influida por una redacción distinta, por una petición dividida en varios pasos o por un intento de manipular las instrucciones. Es el terreno de la prompt injection.
Si el agente no dispone de una herramienta que permita crear usuarios, ninguna frase puede darle ese permiso.
La pregunta correcta para quien vende chatbots
No es «¿vuestro chatbot es seguro?». A esa pregunta todos responden que sí, y la respuesta por sí sola dice poco. La pregunta útil es otra: ¿qué puede hacer vuestro chatbot, además de leer?
Las respuestas posibles cambian por completo el panorama.
- Solo lee. Accede a los contenidos públicos de la web y responde. No puede ejecutar acciones: si una manipulación sale bien, el problema se queda en la respuesta que da.
- Lee y escribe en un sistema. Registra reservas, crea tickets, actualiza fichas. Aquí sí hay superficie de acción: una acción se puede pedir o provocar a través de la conversación.
- Tiene acceso a datos reservados. Está conectado al programa de gestión, al historial de pedidos o a la base de clientes. Una manipulación que salga bien puede ir más allá de una respuesta equivocada.
- Puede modificar configuraciones o usuarios. Es el caso que se intentó en esta conversación. Si un sistema así existe, esa petición hay que tomársela en serio.
Ninguno de estos niveles está mal en sí. Un chatbot que toma reservas tiene que poder escribir; si no, no sirve. La cuestión es saber qué permisos se le han dado y limitarlos a lo necesario.
Qué cambia para quien tiene una web
Un chatbot es un nuevo punto de acceso al sistema. No es un simple formulario de contacto, porque acepta lenguaje libre y en algunos casos interactúa con otras herramientas. Hay que tratarlo como cualquier otro punto de acceso: sabiendo hasta dónde puede llegar. Tres comprobaciones concretas.
Pide al proveedor la lista de acciones que puede ejecutar
No las funciones comerciales: las acciones técnicas. ¿Qué puede escribir? ¿Dónde? ¿Con qué permisos? ¿En qué sistemas? Si la respuesta es vaga, eso ya es información.
Comprueba qué puede leer, no solo qué muestra
Un asistente puede estar conectado a una base de contenidos más amplia de lo que imaginas: páginas indexadas, documentos subidos o secciones que no habías tenido en cuenta. Lo que importa es saber exactamente qué contenidos se han incorporado y cuáles no.
Lee las conversaciones
No solo por marketing, también por seguridad. Los intentos de sondeo suelen reconocerse por el cambio de rumbo: se empieza por el servicio que se ofrece y se pasa al funcionamiento de la web, a las tecnologías que usa, a las áreas privadas, a cómo se accede.
No significa que cada pregunta de este tipo sea un ataque. Significa que merece la pena saber qué pasaría si alguien siguiera haciendo preguntas cada vez más concretas.
En resumen
Esa conversación no consiguió nada, pero no porque alguien respondiera bien sin más: no había nada que obtener, porque el asistente no tenía acceso al sistema necesario.
La seguridad de un asistente conversacional no se mide solo por la calidad de sus negativas, sino sobre todo por el alcance de lo que puede hacer. Cuanto menos puede hacer, menos hay que defender.
