Seguridad en IA: 5 riesgos que debes revisar antes de usar ChatGPT con datos de clientes

Riesgo 1: Shadow AI — empleados usando herramientas sin autorización

El shadow AI ocurre cuando empleados usan herramientas de IA generativa con cuentas personales, desde sus propios dispositivos y sin que el área de tecnología o seguridad lo sepa. No es necesariamente malicioso: a veces el empleado solo quiere trabajar más rápido. Pero el efecto es que información corporativa termina en servidores que la empresa no controla.

El problema se agrava cuando esos empleados comparten prompts que incluyen datos de clientes, descripciones de productos no lanzados o información financiera interna. La herramienta aprende, almacena y, en algunos casos, puede reproducir esos datos en respuestas a otros usuarios. Auditar el uso de IA en tu empresa es el primer paso para saber si esto ya está pasando.

Riesgo 2: Fuga de datos por prompts

Cuando un empleado pega un contrato, una planilla de clientes o un correo confidencial en un chat público, esa información sale de la empresa. Incluso si la herramienta promete no usar los datos para entrenamiento, el dato ya viajó por una red que la empresa no controla. En sectores regulados como salud o financieros, esto puede ser un incumplimiento directo.

La mitigación no es solo técnica. Requiere políticas claras, controles de red donde sea posible y, sobre todo, concientización. Muchas fugas ocurren porque el empleado no entiende que el prompt es una transferencia de datos, no una conversación privada.

Riesgo 3: Prompt injection — instrucciones ocultas que manipulan respuestas

El prompt injection es una técnica en la que un atacante incluye instrucciones ocultas dentro de un texto que la IA va a procesar. Ese texto puede estar en un correo, un documento, una página web o un mensaje de chat. La IA procesa todo el contenido y, si no está protegida, puede obedecer la instrucción oculta en lugar de la tarea original.

Las consecuencias van desde respuestas manipuladas hasta acciones no autorizadas si el sistema tiene permisos para ejecutar tareas. En un contexto empresarial, esto significa que un correo de un cliente podría contener instrucciones ocultas dirigidas a tu sistema de atención automática.

• Usar listas permitidas de fuentes de contenido cuando sea posible.
• Separar el contenido no confiable de las instrucciones del sistema.
• Revisar outputs críticos antes de que afecten una decisión o un cliente.
• Mantener registros de prompts y respuestas para auditoría.

Riesgo 4: Sesgo y alucinaciones — decisiones basadas en outputs incorrectos

Los modelos de lenguaje generan texto que suena correcto, pero no siempre lo es. Esto se conoce como alucinación: el modelo inventa datos, cita fuentes que no existen o interpreta incorrectamente una instrucción. Si el equipo toma decisiones comerciales basadas en esos outputs sin verificar, el riesgo es de negocio, no solo técnico.

El sesgo es igual de peligroso. Si el modelo fue entrenado con datos desbalanceados, puede reproducir discriminaciones en contrataciones, evaluaciones de crédito o atención al cliente. La empresa es responsable de esas decisiones, aunque la IA las haya sugerido.

Riesgo 5: Falta de trazabilidad — no saber quién preguntó qué y cuándo

Cuando algo sale mal, la empresa necesita saber qué pasó. Pero muchas herramientas de IA no guardan un registro completo de prompts, respuestas y decisiones. Si un empleado usó una cuenta personal, la trazabilidad es nula. Si la herramienta no tiene logs, es imposible auditar.

Esta falta de visibilidad complica las investigaciones de incidentes, dificulta el cumplimiento normativo y deja a la empresa expuesta ante reclamos. En el peor de los casos, una decisión dañina tomada con ayuda de IA no puede rastrearse hasta su origen.

• Usar solo herramientas que permitan logging completo de interacciones.
• Asociar cada sesión a un usuario identificable de la empresa.
• Definir tiempo de retención de logs y quién puede acceder a ellos.
• Incluir revisión de logs en los procedimientos de auditoría interna.

Qué controles mínimos deberías tener

No hace falta un departamento de ciberseguridad de cincuenta personas para empezar. Estos controles básicos cierran la mayoría de las brechas que vemos en empresas chilenas medianas.