Curso de AISecOps (AI Security Operations)

Organizar amenazas por capa: usuario, prompt, aplicación, modelo, datos, herramientas, infraestructura y proveedor.

Diferenciar amenazas tradicionales de amenazas específicas de IA.

Revisar prompt injection, data leakage, model abuse, poisoning, jailbreaking, tool abuse y supply chain.

Analizar riesgos de modelos SaaS, modelos open source, APIs de inferencia y despliegues propios.

Entender el impacto de la excesiva autonomía en agentes conectados a correo, archivos, CRM, tickets, código o cloud.

Identificar riesgos de shadow AI y uso no autorizado de herramientas públicas.

Reconocer amenazas internas: empleados que suben datos sensibles, prompts inseguros o conectores mal configurados.

Mapear amenazas a controles preventivos, detectivos y correctivos.

Crear una taxonomía interna de incidentes de IA.

Mantener el mapa actualizado porque los patrones de ataque evolucionan rápidamente.

Traducir cada riesgo OWASP a controles operativos y no solo a teoría de desarrollo.

Entender prompt injection como manipulación del comportamiento del modelo mediante instrucciones directas o indirectas.

Tratar sensitive information disclosure como riesgo de fuga por prompts, contexto, memoria, logs o respuestas.

Revisar supply chain en modelos, datasets, librerías, plugins, conectores, prompts y proveedores.

Analizar data and model poisoning en entrenamiento, fine-tuning, RAG, embeddings y fuentes documentales.

Controlar improper output handling cuando la salida del LLM alimenta código, HTML, comandos, tickets o acciones.

Limitar excessive agency en agentes con permisos para escribir, borrar, enviar, comprar o modificar.

Prevenir system prompt leakage y exposición de instrucciones internas.

Revisar vector and embedding weaknesses en RAG, búsqueda semántica e índices vectoriales.

Crear un checklist operativo OWASP para revisiones periódicas de aplicaciones con IA.

Entender MITRE ATLAS como knowledge base de tácticas y técnicas adversarias contra sistemas de IA.

Mapear técnicas ATLAS a casos reales de la organización.

Crear hipótesis de threat hunting sobre manipulación de inputs, abuso de modelos y evasión.

Relacionar ATLAS con MITRE ATT&CK para no separar IA del resto de la cadena de ataque.

Diseñar detecciones para reconocimiento, evasión, poisoning, exfiltración, impacto y persistencia en sistemas IA.

Usar ATLAS para enriquecer playbooks SOC y ejercicios de red teaming.

Crear una matriz interna de técnicas relevantes por tipo de sistema IA.

Documentar gaps de telemetría que impiden detectar técnicas concretas.

Incorporar aprendizaje de incidentes propios al mapa de amenazas.

Revisar ATLAS periódicamente como fuente viva y no como documento estático.

Usar NIST AI RMF para alinear riesgos de IA con gobierno, medición, gestión y monitorización.

Incorporar el perfil de IA generativa NIST AI 600-1 para riesgos específicos de GenAI.

Entender SAIF de Google como marco de seguridad para construir y desplegar IA de forma segura por defecto.

Relacionar guías NCSC/CISA con diseño, desarrollo, despliegue y operación segura de IA.

Traducir marcos generales a controles técnicos: IAM, logging, evaluación, red teaming, supply chain y respuesta.

Evitar que governance sea solo documentación sin evidencias operativas.

Crear mapping entre frameworks, controles internos y herramientas existentes.

Establecer owners para cada control de IA.

Preparar evidencias auditables de cumplimiento y operación.

Diseñar un modelo de madurez AISecOps por fases.

Localizar aplicaciones, copilotos, agentes, bots, RAG, modelos, APIs y herramientas SaaS con IA.

Identificar quién usa cada sistema, qué datos procesa y qué acciones puede ejecutar.

Registrar proveedor, modelo, versión, región, owner, entorno, criticidad y propósito.

Clasificar sistemas por impacto: productividad, soporte, cliente, código, finanzas, RRHH, seguridad o decisiones sensibles.

Diferenciar IA interna, IA embebida en SaaS e IA creada por equipos propios.

Detectar shadow AI mediante encuestas, proxy logs, CASB, EDR, DLP y revisión de compras.

Crear fichas de riesgo por sistema.

Priorizar controles según sensibilidad de datos y capacidad de acción.

Mantener inventario conectado con CMDB, GRC o repositorio de arquitectura.

Revisar inventario tras adquisiciones, nuevos SaaS, pilotos o cambios de modelo.

Definir responsabilidades entre CISO, DPO, legal, IT, data, AI engineering, producto y negocio.

Crear política de uso de IA con casos permitidos, restringidos y prohibidos.

Establecer procesos de aprobación para nuevos sistemas de IA.

Definir owner funcional, owner técnico y owner de riesgo para cada aplicación.

Crear comité operativo de IA sin convertirlo en cuello de botella.

Definir criterios de alta, revisión, excepción, pausa y retirada de sistemas.

Establecer política de proveedores y evaluación de herramientas SaaS con IA.

Crear reglas para prompts, documentos, conectores, memoria, logs y retención.

Revisar cumplimiento de AI Act cuando aplique, especialmente para sistemas de alto riesgo.

Mantener evidencias de decisiones, excepciones y controles.

Diseñar una arquitectura con capas separadas: UI, API, orquestador, modelo, herramientas, datos y logging.

Evitar que el frontend llame directamente a modelos o proveedores con claves expuestas.

Crear gateway de IA para autenticación, autorización, rate limiting, filtrado y auditoría.

Separar system prompts, prompts de usuario, contexto recuperado y acciones ejecutables.

Validar entradas y salidas antes de conectarlas con sistemas internos.

Usar colas, límites y timeouts para operaciones costosas o críticas.

Implementar controles de coste y prevención de abuso.

Segmentar entornos de desarrollo, pruebas y producción.

Diseñar fallbacks cuando el modelo no responde o responde con baja confianza.

Documentar arquitectura con flujos de datos, permisos y riesgos.

Tratar prompts como lógica de aplicación y no como texto informal.

Proteger system prompts frente a exposición accidental o extracción intencionada.

Versionar prompts críticos en repositorios controlados.

Revisar prompts con criterios de seguridad, privacidad, calidad y comportamiento.

Separar instrucciones permanentes, contexto dinámico y entrada de usuario.

Evitar incluir secretos, credenciales, tokens o información sensible dentro del prompt.

Diseñar prompts resistentes a instrucciones contradictorias.

Crear pruebas de prompt injection directas e indirectas.

Monitorizar intentos de revelar instrucciones internas.

Mantener un proceso de cambio, revisión y rollback para prompts críticos.

Diferenciar prompt injection directa, indirecta, multi-turn y basada en documentos.

Entender que el riesgo aumenta cuando el modelo lee webs, PDFs, emails, tickets o fuentes no confiables.

Crear filtros de entrada para patrones evidentes sin confiar solo en listas negras.

Separar datos no confiables de instrucciones confiables.

Añadir políticas de no ejecución cuando una fuente externa contiene instrucciones.

Detectar intentos de override, jailbreak, roleplay malicioso o extracción de secretos.

Registrar prompts sospechosos para análisis posterior.

Diseñar respuestas seguras ante intentos de manipulación.

Probar controles con casos realistas y no solo con ejemplos obvios.

Crear playbook SOC para investigación de prompt injection.

Inventariar fuentes que alimentan el RAG: documentos, wikis, tickets, repositorios, PDFs y webs.

Validar permisos antes de indexar documentos.

Evitar que un usuario recupere contenido al que no debería tener acceso.

Proteger índices vectoriales como activos sensibles.

Revisar chunking, metadatos, ranking y filtrado por permisos.

Detectar poisoning de fuentes documentales o inserción de instrucciones maliciosas en documentos.

Monitorizar consultas anómalas, scraping semántico y extracción masiva.

Diseñar respuestas con citas y fuentes para mejorar verificabilidad.

Crear proceso de retirada de documentos obsoletos o comprometidos.

Evaluar vector and embedding weaknesses como parte de la revisión OWASP.

Identificar qué herramientas puede usar un agente: correo, calendario, CRM, tickets, repositorios, shell, cloud o documentos.

Clasificar acciones por riesgo: lectura, borrador, modificación, envío, borrado, compra o despliegue.

Aplicar human-in-the-loop para acciones sensibles.

Usar permisos mínimos y tokens con scopes reducidos.

Separar herramientas de lectura y escritura.

Registrar cada decisión, llamada a herramienta, input, output y resultado.

Limitar loops, profundidad de planificación, número de acciones y coste.

Detectar tool abuse, data exfiltration y ejecución inesperada.

Crear sandbox para pruebas de agentes.

Diseñar kill switch y pausa operativa para agentes en producción.

Revisar identidades humanas, cuentas de servicio, API keys y tokens usados por IA.

Evitar claves compartidas entre usuarios, agentes y aplicaciones.

Aplicar rotación, expiración y vaulting de secretos.

Limitar permisos por caso de uso y entorno.

Usar autorización contextual cuando el modelo accede a datos corporativos.

Registrar qué usuario inició una acción y qué agente la ejecutó.

Evitar que agentes hereden permisos excesivos del desarrollador.

Revisar permisos tras cambios de rol, bajas o fin de pilotos.

Integrar IAM con SIEM, auditoría y GRC.

Crear revisiones periódicas de acceso para sistemas IA.

Clasificar datos antes de enviarlos a modelos o proveedores.

Detectar PII, PHI, credenciales, secretos, contratos, datos financieros y propiedad intelectual.

Aplicar DLP en prompts, adjuntos, logs, respuestas y conectores.

Minimizar datos enviados al modelo.

Anonimizar o seudonimizar datasets de prueba.

Evitar que logs de IA almacenen información sensible sin retención controlada.

Revisar políticas de procesamiento, residencia y subprocesadores de proveedores.

Crear controles para impedir subida de documentos no autorizados.

Gestionar derechos, borrado y retención cuando aplique.

Coordinar privacidad, legal y seguridad en casos de alto riesgo.

Controlar origen, licencia, calidad y sensibilidad de datasets.

Proteger datasets de entrenamiento, validación y evaluación frente a alteraciones.

Detectar data poisoning, contaminación, duplicados y datos no autorizados.

Mantener versionado de datasets y trazabilidad de cambios.

Separar entornos de preparación, entrenamiento y evaluación.

Documentar qué datos se usaron para fine-tuning o RAG.

Revisar riesgos de memorization y leakage.

Crear controles de acceso a datasets sensibles.

Evaluar modelos antes y después de cambios de datos.

Mantener evidencias para auditoría y reproducibilidad.

Inventariar modelos propios, modelos open source, APIs externas y SaaS de IA.

Revisar licencias, procedencia, mantenimiento y reputación de modelos.

Analizar riesgos de librerías, frameworks, imágenes de contenedor y notebooks.

Proteger pipelines CI/CD y repositorios que despliegan sistemas IA.

Escanear dependencias y vulnerabilidades.

Evaluar datasets de terceros y modelos descargados desde hubs públicos.

Revisar proveedores frente a seguridad, privacidad, retención y uso de datos.

Crear criterios de aprobación para nuevos modelos.

Documentar SBOM/AI-BOM cuando aplique.

Integrar supply chain de IA en gestión de terceros y AppSec.

Proteger endpoints de inferencia con autenticación fuerte.

Aplicar rate limiting, cuotas, límites de tokens y control de coste.

Validar payloads, tipos de archivo, tamaño y contenido.

Filtrar llamadas no autorizadas desde aplicaciones internas.

Centralizar políticas en un AI gateway.

Monitorizar errores, latencia, consumo, anomalías y abuso.

Registrar metadatos suficientes sin exponer datos sensibles.

Controlar versionado de modelos usados por cada aplicación.

Diseñar políticas de fallback y degradación segura.

Integrar gateway con SIEM, DLP, IAM y observabilidad.

Diseñar pruebas ofensivas sobre prompts, RAG, agentes, herramientas y APIs.

Crear casos de jailbreak, prompt injection, data exfiltration y abuso de permisos.

Probar outputs peligrosos, sesgados, inseguros o no conformes.

Evaluar si el modelo revela system prompts o datos protegidos.

Testear agentes con instrucciones maliciosas y documentos contaminados.

Medir tasa de éxito de ataques y efectividad de controles.

Documentar hallazgos con severidad, evidencia y remediación.

Repetir pruebas tras cambios de modelo, prompt, proveedor o datos.

Diferenciar red teaming de QA funcional.

Crear un programa recurrente de AI red teaming.

Definir telemetría mínima para sistemas IA.

Monitorizar volumen de prompts, errores, coste, latencia, tokens y ratio de fallos.

Detectar patrones de abuso, scraping, extracción, automatización maliciosa o uso fuera de horario.

Medir drift de comportamiento, degradación de calidad y cambios inesperados.

Registrar versiones de prompt, modelo, datos y tools.

Crear alertas por picos de coste o consumo.

Monitorizar respuestas bloqueadas, escaladas y fallos de política.

Integrar observabilidad con herramientas existentes.

Evitar logging excesivo de contenido sensible.

Revisar métricas con equipo de seguridad, producto y data.

Decidir qué registrar: metadatos, usuario, sistema, modelo, prompt hash, tool call, resultado y decisión.

Evitar guardar prompts completos cuando contienen datos sensibles, salvo justificación y protección.

Aplicar retención, cifrado y acceso limitado a logs.

Registrar acciones ejecutadas por agentes de forma auditada.

Mantener correlación entre evento de IA, identidad y sistema afectado.

Enriquecer logs con clasificación de riesgo.

Crear trazabilidad suficiente para reproducir incidentes.

Conservar evidencias de red teaming, evaluaciones y excepciones.

Integrar logs con SIEM respetando privacidad.

Diseñar logging pensando en investigación, no solo en debugging.

Enviar eventos relevantes de IA al SIEM.

Normalizar campos: usuario, app, modelo, proveedor, riesgo, tool, acción y resultado.

Crear reglas de detección para prompt injection, abuso de costes, exfiltración y uso no autorizado.

Integrar alertas AISecOps con playbooks SOAR.

Crear dashboards SOC específicos para IA.

Correlacionar eventos de IA con EDR, IAM, CASB, proxy, DLP y cloud logs.

Evitar alertas ruidosas sin contexto de negocio.

Diseñar enriquecimientos automáticos para investigación.

Crear rutas de escalado a AppSec, legal, data o owner del sistema.

Medir MTTD y MTTR de incidentes de IA.

Identificar patrones de abuso de copilotos, chatbots, APIs y agentes.

Detectar intentos de exfiltrar información mediante preguntas repetidas o fragmentadas.

Monitorizar uso excesivo, scraping semántico y enumeración de documentos.

Detectar generación de contenido prohibido, phishing, malware o instrucciones dañinas cuando aplique.

Revisar anomalías por usuario, rol, equipo, horario, país y volumen.

Crear detecciones basadas en comportamiento, no solo en palabras clave.

Investigar abuso interno y externo con procedimiento claro.

Coordinar con HR, legal y privacidad en casos sensibles.

Crear medidas de contención: bloqueo, throttling, revocación de permisos o pausa del sistema.

Documentar aprendizaje para mejorar controles preventivos.

Definir qué se considera incidente de IA.

Clasificar incidentes: fuga de datos, prompt injection, abuso de agente, poisoning, coste anómalo, salida dañina o acceso no autorizado.

Crear playbooks por tipo de incidente.

Contener sistemas: revocar tokens, pausar agente, bloquear conector, cambiar prompt o desconectar fuente.

Preservar evidencias sin exponer más datos sensibles.

Evaluar impacto sobre usuarios, datos, clientes, cumplimiento y sistemas conectados.

Coordinar comunicación interna con legal, privacidad, CISO y negocio.

Gestionar notificaciones regulatorias si procede.

Ejecutar postmortem con acciones correctivas.

Actualizar controles, prompts, detecciones y formación tras el incidente.

Reconstruir línea temporal de prompts, respuestas, herramientas y acciones.

Identificar origen de la instrucción maliciosa: usuario, documento, web, email, conector o agente.

Analizar logs de RAG, retrieval, tool calls y permisos.

Revisar si hubo exposición de datos, modificación de sistemas o impacto económico.

Conservar artefactos: prompts, archivos, embeddings, outputs, tokens y versiones.

Diferenciar fallo de modelo, fallo de diseño, abuso de usuario y error de configuración.

Coordinar evidencia técnica con requisitos legales.

Preparar informe forense comprensible para dirección.

Incorporar indicadores al SIEM para detección futura.

Cerrar investigación con remediación verificable.

Revisar asistentes de Microsoft 365, Google Workspace, Slack, CRM, ITSM y herramientas internas.

Evaluar permisos heredados de documentos, correos, tickets y chats.

Prevenir oversharing por mala gestión de permisos.

Crear políticas de qué puede consultar un copiloto y para qué perfiles.

Monitorizar consultas sobre información sensible.

Revisar conectores, memoria, historial y retención.

Crear campañas de limpieza de permisos antes de activar copilotos amplios.

Detectar respuestas que citan fuentes no autorizadas.

Formar usuarios en preguntas seguras y límites.

Crear dashboards de adopción y riesgo para copilotos internos.

Usar IA para resumir alertas, explicar logs, generar queries y preparar informes.

Evitar que IA tome decisiones de contención sin validación humana.

Proteger datos de incidentes, IPs internas, usernames, hosts y evidencias.

Crear prompts seguros para análisis de alertas.

Validar hipótesis generadas por IA con datos reales.

Usar IA para acelerar documentación de incidentes y postmortems.

Revisar outputs antes de enviarlos a dirección o cliente.

Evitar dependencia excesiva de IA en analistas junior.

Medir ahorro de tiempo y calidad de investigación.

Crear política específica de IA para operaciones de seguridad.

Generar borradores de reglas Sigma, KQL, SPL, YARA o consultas SIEM con revisión humana.

Pedir explicaciones de detecciones existentes.

Transformar hipótesis MITRE ATLAS o ATT&CK en lógica de detección.

Crear queries para correlacionar eventos de IA con IAM, cloud y proxy.

Validar reglas con datos históricos o logs sintéticos.

Evitar desplegar detecciones generadas sin pruebas.

Documentar objetivo, fuentes de log, falsos positivos y severidad.

Usar IA para crear pruebas unitarias de detecciones cuando aplique.

Mantener control de versiones de reglas.

Medir efectividad real de detecciones asistidas por IA.

Incluir aplicaciones IA en el programa de vulnerability management.

Evaluar vulnerabilidades de dependencias, APIs, contenedores, notebooks y pipelines.

Revisar vulnerabilidades lógicas no detectables por scanners clásicos.

Clasificar hallazgos de prompt injection, RAG leakage o excessive agency con severidad.

Crear backlog de remediación con owners.

Integrar resultados de red teaming en gestión de vulnerabilidades.

Revisar proveedores y componentes IA en revisiones periódicas.

Establecer SLAs según criticidad del sistema.

Validar remediaciones con pruebas repetidas.

Reportar postura de seguridad IA a CISO y GRC.

Proteger infraestructura donde se ejecutan modelos, orquestadores, gateways y APIs.

Aplicar hardening de contenedores y Kubernetes cuando se despliega IA propia.

Gestionar secretos, service accounts y permisos cloud.

Segmentar redes y limitar salida hacia proveedores externos.

Monitorizar almacenamiento de datasets, embeddings, prompts y logs.

Revisar GPU workloads, notebooks y entornos de experimentación.

Evitar entornos de data science expuestos sin control.

Crear políticas de IaC y revisión de configuración.

Integrar runtime security y cloud posture management.

Diseñar despliegues reproducibles y auditables.

Controlar notebooks con datos, claves, librerías y modelos.

Evitar que entornos de experimentación se conviertan en producción oculta.

Gestionar acceso a notebooks, kernels, outputs y archivos temporales.

Escanear paquetes instalados y dependencias.

Prohibir credenciales hardcodeadas.

Separar datasets reales de datasets de prueba.

Revisar conexiones a internet y descarga de modelos.

Versionar experimentos relevantes.

Limpiar outputs que contienen datos sensibles.

Crear políticas para laboratorios de IA seguros.

Evaluar proveedores de IA antes de compra o activación.

Revisar uso de datos para entrenamiento, retención, residencia, subprocesadores y borrado.

Analizar certificaciones, auditorías, cifrado, IAM y controles de acceso.

Exigir documentación de seguridad y privacidad.

Clasificar proveedores según datos tratados y acciones permitidas.

Revisar cláusulas contractuales de IA, confidencialidad, seguridad y auditoría.

Crear cuestionario específico para SaaS con IA.

Monitorizar cambios de funciones IA en herramientas ya contratadas.

Evitar activar features IA por defecto sin evaluación.

Integrar evaluación de IA en vendor risk management.

Identificar si un sistema de IA puede estar sujeto a obligaciones regulatorias.

Revisar clasificación de riesgo, documentación, logs, supervisión humana y calidad de datos.

Entender que el AI Act es el marco legal europeo armonizado para IA y se basa en un enfoque de riesgo.

Preparar evidencias de controles técnicos y organizativos.

Mapear controles AISecOps a requisitos de privacidad, seguridad, auditoría y gestión de riesgos.

Crear registros de sistema, finalidad, datos, propietarios y evaluaciones.

Mantener trazabilidad de cambios de modelo, prompt, proveedor y dataset.

Coordinar GRC, DPO, legal, seguridad y negocio.

Evitar tratar cumplimiento como tarea documental separada de la operación.

Crear un paquete mínimo de evidencias para auditoría de IA.

Definir cobertura de inventario de sistemas IA.

Medir sistemas con owner, clasificación de riesgo y controles mínimos.

Medir pruebas de red teaming realizadas y hallazgos abiertos.

Medir alertas de IA, falsos positivos, MTTD, MTTR y severidad.

Medir costes anómalos, uso bloqueado, intentos de prompt injection y fugas evitadas.

Medir porcentaje de RAG con permisos verificados.

Medir revisiones de proveedores, prompts versionados y agentes con human-in-the-loop.

Crear dashboards para CISO, SOC, GRC y equipos de producto.

Evitar métricas vanidosas como “número de prompts” sin relación con riesgo.

Usar métricas para priorizar inversión y mejora continua.

Formar usuarios en qué datos no deben introducir en herramientas IA.

Crear guías por perfil: usuario general, developer, analista, SOC, legal, RRHH y dirección.

Explicar riesgos con ejemplos claros: prompt injection, fuga de datos, agentes excesivos y shadow AI.

Diseñar campañas de concienciación sin bloquear la innovación.

Crear canal de consulta para dudas sobre uso seguro de IA.

Formar a equipos técnicos en patrones seguros de arquitectura IA.

Formar al SOC en investigación de eventos IA.

Crear simulacros de incidentes de IA.

Actualizar formación cuando cambien herramientas o políticas.

Medir adopción segura, no solo adopción rápida.

Empezar por inventario, políticas mínimas y clasificación de riesgos.

Seleccionar sistemas críticos para revisión profunda.

Implantar logging y telemetría mínima.

Conectar eventos relevantes al SIEM.

Crear controles preventivos para datos sensibles y agentes.

Lanzar red teaming inicial de aplicaciones IA prioritarias.

Crear playbooks de respuesta a incidentes.

Establecer comité operativo y owner por sistema.

Medir madurez trimestralmente.

Escalar desde controles básicos hasta operaciones avanzadas y automatización.

Activar copilotos sin revisar permisos de documentos.

Conectar agentes a herramientas críticas sin human-in-the-loop.

Guardar prompts y respuestas con datos sensibles en logs inseguros.

Usar modelos o datasets externos sin evaluación de supply chain.

Confiar en filtros de contenido como único control.

No integrar eventos de IA en el SOC.

No versionar prompts, modelos ni fuentes RAG.

Tratar prompt injection como curiosidad y no como amenaza operativa.

Automatizar respuestas del SOC con IA sin validación.

Crear políticas de IA sin controles técnicos que las hagan cumplir.

Seleccionar un sistema ficticio o anonimizado con LLM, RAG, agentes o copiloto interno.

Crear inventario del sistema, datos tratados, usuarios, herramientas, proveedores y riesgos.

Clasificar amenazas usando OWASP LLM Top 10 y MITRE ATLAS.

Diseñar arquitectura segura con gateway, IAM, logging, DLP, RAG seguro y human-in-the-loop.

Crear plan de red teaming con pruebas de prompt injection, RAG poisoning, leakage y tool abuse.

Definir eventos de seguridad y reglas de detección para SIEM.

Preparar playbooks de respuesta a incidentes de IA.

Diseñar dashboard AISecOps con KPIs técnicos, operativos y de riesgo.

Mapear controles a NIST AI RMF, guías secure-by-design y políticas internas.

Presentar el modelo final como plan operativo listo para implantar en una organización.