Curso de Seguridad Defensiva de Sistemas de IA y Gobernanza Técnica

Principio de asumir que el modelo no constituye una frontera de seguridad.

Separación entre instrucciones de comportamiento y controles de seguridad obligatorios.

Arquitectura defense-in-depth aplicada a sistemas de IA.

Diferenciación entre control determinista y control probabilístico.

Colocación de controles antes y después del modelo.

Policy Enforcement Points fuera del LLM.

Policy Decision Points independientes del razonamiento generativo.

Model gateway como capa central de control.

Normalización y clasificación de solicitudes antes de la inferencia.

Separación entre input del usuario e instrucciones privilegiadas.

Etiquetado explícito de contenido externo no confiable.

Context isolation.

Reducción del contexto al mínimo necesario.

Segmentación de conversaciones y sesiones.

Aislamiento entre tenants.

Separación entre datos públicos, internos, confidenciales y restringidos.

Control de acceso previo a la recuperación de información.

Autorización independiente de la respuesta generada por el modelo.

Validación de tool calls antes de su ejecución.

Salidas estructuradas como mecanismo para reducir ambigüedad.

Validación posterior del output.

Human-in-the-loop para operaciones de riesgo.

Fail-safe defaults.

Fail closed frente a fallos de componentes de seguridad.

Circuit breakers para proveedores de modelos y servicios auxiliares.

Timeouts y límites de consumo.

Rate limiting por identidad, tenant y caso de uso.

Separación entre planos de datos, control y administración.

Redundancia de controles para evitar depender de un único clasificador.

Diseño de degradación segura.

Reducción del blast radius de un modelo comprometido o manipulado.

Arquitecturas donde el modelo propone y componentes deterministas autorizan.

Objetivos y limitaciones reales de un input guardrail.

Diferencia entre validación sintáctica, semántica y contextual.

Normalización de entradas antes del análisis.

Control de tamaño y estructura de prompts.

Restricción de tipos de contenido permitidos.

Detección de payloads anómalos.

Clasificación de intenciones.

Detección semántica de instrucciones incompatibles con la política del sistema.

Direct prompt injection.

Indirect prompt injection.

Cross-domain prompt injection.

Persistent prompt injection mediante contenido almacenado.

Prompt injection procedente de páginas web.

Instrucciones maliciosas incrustadas en documentos.

Inyección procedente de correo y sistemas de mensajería.

Inyección incorporada a campos de bases de datos.

Riesgos multimodales en imágenes y otros formatos.

Separación entre datos y órdenes.

Canonicalización de contenidos antes de aplicar políticas.

Eliminación o aislamiento de elementos no necesarios.

Allowlisting y denylisting como controles auxiliares.

Detectores basados en reglas.

Clasificadores especializados.

Uso de modelos secundarios como jueces de seguridad.

Ensemble de múltiples detectores.

Risk scoring de solicitudes.

Thresholds de bloqueo, revisión y aceptación.

Falsos positivos y falsos negativos.

Precision y recall aplicados a detectores de ataques.

Ajuste de umbrales según criticidad.

Estrategias ante señales ambiguas.

Bloqueo frente a sanitización.

Reducción de privilegios cuando una solicitud presenta mayor riesgo.

Contextual gating.

Registro de decisiones del guardrail.

Explicabilidad operativa de por qué se bloquea una entrada.

Gestión de bypasses descubiertos en producción.

Actualización continua del corpus de detección.

El output del modelo como contenido no confiable.

Diferencia entre seguridad del contenido y seguridad del canal de salida.

Validación estructural de respuestas.

JSON schemas y contratos estrictos.

Parsing seguro de outputs.

Improper Output Handling como riesgo de integración.

Prevención de inyección posterior en HTML.

Prevención de ejecución accidental de comandos.

Separación entre contenido mostrado y contenido ejecutable.

Detección de datos personales.

Detección de información financiera.

Detección de credenciales y secretos.

Detección de tokens, API keys y material de autenticación.

Información comercial o contractual confidencial.

Propiedad intelectual y contenido interno.

Data Loss Prevention aplicado a outputs generativos.

Redacción y masking.

Tokenización y pseudonimización.

Políticas de clasificación de información.

Comprobación del nivel de sensibilidad antes de responder.

Autorización sobre cada dato recuperado y no solo sobre la consulta global.

Prevención de cross-tenant leakage.

Detección de citas o referencias no autorizadas.

Validación de groundedness.

Detección de respuestas no sustentadas en las fuentes disponibles.

Control de URLs generadas.

Restricción de referencias a dominios externos.

Prevención de exfiltración mediante contenido renderizado.

Sanitización de Markdown y formatos enriquecidos.

Salidas específicas para sistemas posteriores.

Policy-as-code aplicada al resultado.

Escalado a revisión humana cuando se supera un nivel de riesgo.

Telemetría de bloqueos y fugas evitadas.

Diferencia entre impedir la revelación del system prompt y proteger activos realmente sensibles.

Prohibición de almacenar secretos o controles de autorización dentro del system prompt.

Anatomía completa de un pipeline RAG.

Ingesta de documentación.

Parsing y normalización.

Chunking.

Generación de embeddings.

Indexación.

Retrieval.

Reranking.

Construcción de contexto.

Generación de la respuesta.

Vector and Embedding Weaknesses.

Document poisoning.

Knowledge Base Poisoning.

Indirect prompt injection mediante documentos recuperados.

Datos manipulados dentro de repositorios aparentemente confiables.

Contenido externo incorporado automáticamente al índice.

Riesgo de confiar en documentos únicamente por su ubicación.

Provenance de cada documento.

Firma o identificación de fuentes confiables.

Clasificación de documentos por sensibilidad.

ACL-aware retrieval.

Aplicación de permisos antes de recuperar chunks.

Seguridad a nivel de documento.

Seguridad a nivel de fragmento.

Multi-tenancy en bases vectoriales.

Namespaces y aislamiento lógico.

Riesgos de metadata manipulada.

Filtrado de metadata.

Validación previa a la indexación.

Sanitización del contenido recuperado.

Separación explícita entre instrucciones y contexto documental.

Context boundaries.

Limitar el número y tamaño de fragmentos recuperados.

Reranking con criterios de seguridad.

Relevance scoring.

Groundedness scoring.

Context relevance.

Answer relevance.

Prevención de recuperación de información que el usuario no puede consultar directamente.

Detección de documentos sospechosos durante ingestión.

Quarantine de contenido no confiable.

Reindexación controlada.

Versionado del conocimiento.

Rollback de índices contaminados.

Evaluación de ataques contra retrieval y generación de forma independiente.

Métricas de retrieval security.

Trazabilidad desde respuesta hasta documentos de origen.

Diseño de RAG donde la recuperación no implica automáticamente confianza.

Diferencia entre chatbot, asistente, workflow y agente.

Aumento del riesgo cuando el modelo puede modificar sistemas externos.

Excessive Agency.

Tool Misuse.

Goal Hijacking.

Definición explícita de capacidades permitidas.

Principio de mínimo privilegio aplicado a agentes.

Identidades separadas para cada agente o servicio.

Service accounts dedicadas.

Credenciales de corta duración.

Scopes restringidos.

Autorización independiente por cada llamada a herramienta.

Prohibición de delegar decisiones de autorización al modelo.

Tool registry controlado.

Allowlist de herramientas por caso de uso.

Separación entre herramientas read-only y write.

Diferenciación entre acciones reversibles e irreversibles.

Approval gates para acciones sensibles.

Human confirmation.

Transaction preview antes de ejecutar.

Control de parámetros generados por el modelo.

Validación de schemas de tool calling.

Prevención de parameter injection.

Control de destinations y recursos afectados.

Sandboxing.

Aislamiento de procesos.

Límites de red.

Restricciones de filesystem.

Ejecución con privilegios mínimos.

Rate limits por herramienta.

Presupuestos económicos y de consumo.

Máximo número de iteraciones.

Timeouts.

Loop detection.

Kill switches.

Revocación inmediata de capacidades.

Audit trail completo de decisiones y acciones.

Separación entre memoria del agente y credenciales.

Seguridad de MCP y protocolos equivalentes como nueva frontera de confianza.

Evaluación del riesgo agregado cuando un agente combina múltiples herramientas aparentemente inocuas.

Diseño de blast radius limitado para sistemas con autonomía.

Ciclo de vida de los datos utilizados por un sistema de IA.

Provenance de datasets.

Integridad de fuentes.

Clasificación y ownership.

Data poisoning.

Manipulación de datasets de fine-tuning.

Model poisoning.

Backdoors en modelos.

Riesgos de modelos descargados de repositorios externos.

Serialización insegura de artefactos de ML.

Dependencias de librerías y frameworks.

Paquetes comprometidos.

Model registries.

Control de hashes y firmas.

Verificación de artefactos.

SBOM aplicada a aplicaciones de IA.

Model Bill of Materials como concepto de trazabilidad.

Inventario de modelos y versiones.

Inventario de datasets.

Inventario de adapters y fine-tunes.

Trazabilidad de prompts y plantillas críticas.

Versionado de embeddings.

Dependencias de APIs SaaS externas.

Riesgo derivado de cambios silenciosos del proveedor.

Model version pinning cuando está disponible.

Evaluación de nuevos modelos antes de promoción.

Procedimientos de rollback.

Seguridad de modelos open-weight.

Model extraction.

Model inversion.

Membership inference.

Confidential computing cuando el nivel de riesgo lo justifica.

Cifrado en tránsito y reposo.

Protección de claves de cifrado.

Secret management.

Gestión de datos enviados a proveedores externos.

Retención y reutilización de prompts por proveedores.

Data residency.

Controles contractuales y técnicos sobre terceros.

Evaluación continua de la supply chain generativa.

Respuesta ante la retirada o compromiso de un componente.

Zero Trust aplicado a sistemas de IA.

Identidad humana frente a identidad de workload.

Authentication y authorization como responsabilidades externas al modelo.

OAuth 2.0 y OpenID Connect.

Workload identity.

Credenciales efímeras.

Rotación automática de secretos.

Secret managers.

Separación de cuentas por entorno.

Least privilege en IAM.

ABAC y RBAC.

Autorización contextual.

Network segmentation.

Microsegmentación.

Private endpoints.

Control de egress.

Restricción de destinos externos.

DNS controls.

API gateways.

WAF y protección de interfaces públicas.

Rate limiting.

Quotas.

Prevención de Unbounded Consumption.

Límites de tokens.

Límites de contexto.

Límites económicos por tenant.

Contenedores y workloads aislados.

Sandboxing de código generado.

Filesystems efímeros.

Restricción de syscalls cuando resulta aplicable.

Separación de execution workers.

Seguridad de GPU y recursos compartidos.

Kubernetes y orquestadores como frontera de aislamiento.

Network Policies.

Egress policies.

Resource requests y limits.

Protección de endpoints de inferencia.

Model gateways internos.

Alta disponibilidad.

Resiliencia frente a denegación de servicio.

Backpressure.

Circuit breakers.

Separación entre entornos de desarrollo, evaluación y producción.

Hardening de la infraestructura que rodea al modelo.

Diferencia entre evaluación funcional, safety evaluation y security evaluation.

Threat-driven testing.

Selección de ataques a partir del threat model.

OWASP GenAI como catálogo de escenarios.

MITRE ATLAS como taxonomía de comportamiento adversario.

Creación de un attack coverage map.

Adversarial test cases.

Casos positivos y negativos.

Corpus de prompt injection.

Corpus de indirect prompt injection.

Pruebas de exfiltración controlada.

Pruebas de aislamiento entre usuarios.

Pruebas de aislamiento entre tenants.

Pruebas de autorización de herramientas.

Validación de guardrails.

Evaluación de filtros de entrada.

Evaluación de filtros de salida.

Pruebas de RAG poisoning.

Pruebas de retrieval authorization.

Evaluación de excessive agency.

Pruebas de límites de recursos.

Test cases multimodales.

Mutación automática de inputs.

Fuzzing semántico.

Paraphrasing para comprobar robustez de detectores.

Variación de idioma, longitud y contexto.

Adaptive adversarial testing.

Testing con attacker models controlados.

Human red teaming.

Diferencias entre automatización y revisión humana.

Reproducibilidad de los resultados.

Seed management cuando interviene aleatoriedad.

Control de versiones del modelo evaluado.

Almacenamiento de evidencias.

Severity scoring.

Priorización según impacto empresarial.

Criterios de aceptación antes de producción.

Gestión responsable de findings.

Retesting después de aplicar mitigaciones.

Creación de un security baseline inicial.

Por qué la evaluación previa al despliegue no resulta suficiente.

Cambios de comportamiento derivados de nuevas versiones del modelo.

Cambios de prompts y orquestación.

Cambios del corpus RAG.

Cambios en guardrails.

Evolución del comportamiento de atacantes.

Definición de security evals como producto mantenido.

Evaluation datasets versionados.

Golden sets.

Adversarial sets.

Regression suites.

Harness de evaluación reproducible.

Attack harness para campañas automáticas controladas.

Replay de incidentes y ataques históricos.

Incorporación de nuevos findings al corpus permanente.

Baselines por versión.

Comparación candidate versus production.

Champion-challenger.

Shadow evaluation.

Canary releases.

Progressive rollout.

Gates de promoción.

Attack Success Rate.

Prompt Injection Success Rate.

Sensitive Data Leakage Rate.

Unsafe Tool Invocation Rate.

RAG Poisoning Success Rate.

Cross-tenant Access Violation Rate.

Guardrail bypass rate.

False Positive Rate.

False Negative Rate.

Precision.

Recall.

F1 cuando resulta representativo.

Refusal correctness.

Over-refusal.

Groundedness.

Context relevance.

Hallucination o unsupported claim rate cuando afecta a seguridad.

Latencia añadida por controles.

Coste de guardrails y evaluaciones.

Availability impact.

Métricas por categoría de ataque y no únicamente una puntuación global.

Security regression budgets.

Thresholds que bloquean una release.

Detección de degradaciones pequeñas pero acumulativas.

Series temporales de seguridad.

Drift de comportamiento.

Continuous TEVV: testing, evaluation, verification and validation.

Evidencias automatizadas para auditoría y gobierno.

Evaluación periódica incluso cuando no se despliega una versión nueva.

Telemetría específica de aplicaciones LLM.

Logs de entrada con controles de privacidad.

Logs de salida.

Registro de decisiones de guardrails.

Model ID y versión.

Prompt template version.

Retrieval trace.

Document IDs recuperados.

Tool calls.

Parámetros enviados a herramientas.

Identidad responsable de cada solicitud.

Decisiones de autorización.

Token usage.

Latencia.

Coste.

Correlation IDs.

Distributed tracing.

OpenTelemetry en arquitecturas de IA.

Trazabilidad entre gateway, modelo, RAG y herramientas.

Detección de patrones de prompt injection.

Detección de probing.

Repetición de intentos de bypass.

Incrementos anómalos de bloqueos.

Intentos de acceso a información sensible.

Comportamiento anómalo de agentes.

Uso inesperado de herramientas.

Incrementos de consumo.

Detección de loops.

Detección de exfiltración.

Métricas para SOC.

Alertas basadas en riesgo.

Integración con SIEM.

Enriquecimiento de eventos de IA.

Playbooks de respuesta.

Revocación de credenciales.

Deshabilitación de herramientas.

Desactivación temporal de funciones agénticas.

Cambio a modo read-only.

Sustitución de modelo.

Rollback del índice RAG.

Aislamiento de una fuente de conocimiento comprometida.

Conservación de evidencias.

Privacidad de logs y minimización.

Reconstrucción de una ejecución.

Post-incident review.

Conversión de incidentes en nuevos regression tests.

Post-market monitoring técnico como proceso continuo.

Secure by Design aplicado a productos de IA.

Security requirements desde la fase de arquitectura.

AI system inventory.

Clasificación por impacto y criticidad.

Threat modeling antes de desarrollo.

Security architecture review.

Gestión de prompts como código.

Versionado de system prompts.

Code review de cambios en guardrails.

Review de cambios en herramientas disponibles para agentes.

Revisión de cambios del pipeline RAG.

Dependencias y supply chain.

Scanning de secretos.

Software composition analysis.

Validación de artefactos de modelos.

Versionado de datasets.

Separación de entornos.

Control de acceso a modelos experimentales.

CI para tests convencionales.

CI para security evals.

Automated adversarial regression.

Quality gates.

Security gates.

Policy-as-code.

Compliance-as-code cuando resulte adecuado.

Evidencias generadas automáticamente.

Promoción de modelos entre entornos.

Model registry.

Aprobación antes de producción.

Rollback.

Feature flags para capacidades de IA.

Kill switches.

Canary deployment.

Continuous monitoring.

Gestión de vulnerabilidades específicas de IA.

SLA de mitigación según severidad.

Coordinación entre AppSec, ML Engineering, Data, Cloud, SOC y Governance.

Security champions para equipos de IA.

Gestión del cambio cuando el proveedor actualiza un modelo.

Proceso de recertificación de cambios materiales.

Definición de excepciones y aceptación formal de riesgo.

Evidencias técnicas vinculadas al control de gobierno correspondiente.

Objetivos y ámbito del NIST AI Risk Management Framework.

Carácter voluntario del AI RMF.

Trustworthiness como conjunto multidimensional.

Valid and Reliable.

Safe.

Secure and Resilient.

Accountable and Transparent.

Explainable and Interpretable.

Privacy Enhanced.

Fair with Harmful Bias Managed.

Función GOVERN.

Cultura y estructura de gestión del riesgo.

Roles y responsabilidades.

Políticas y procedimientos.

Risk appetite y tolerancia.

Inventario de sistemas.

Función MAP.

Contexto de utilización.

Intended purpose.

Usuarios y afectados.

Dependencias técnicas.

Riesgos previsibles.

Reasonably foreseeable misuse.

Función MEASURE.

Selección de métricas.

Testing y evaluación.

Limitaciones de medición.

Seguimiento de riesgos.

Función MANAGE.

Priorización.

Tratamiento.

Mitigación.

Aceptación.

Transferencia.

Evitación.

Monitorización y mejora continua.

NIST AI 600-1 Generative AI Profile.

Utilización del GenAI Profile para adaptar el marco a LLM y GenAI.

Riesgos específicos de IA generativa dentro del marco.

Integración entre NIST AI RMF y procesos de cybersecurity existentes.

Conversión de outcomes del RMF en controles técnicos verificables.

Relación entre threat model y función MAP.

Relación entre evals y función MEASURE.

Relación entre guardrails y función MANAGE.

Relación entre policy, ownership y función GOVERN.

Evidence repository.

Métricas para demostrar funcionamiento de controles.

Continuous risk management.

Revisión del riesgo después de cambios materiales.

Estado actual del marco: AI RMF 1.0 continúa siendo la versión publicada mientras NIST prepara una revisión.

Qué es un Artificial Intelligence Management System.

Objetivo de ISO/IEC 42001:2023.

Integración del sistema de gestión de IA dentro de la estructura de gobierno corporativo.

Contexto de la organización.

Partes interesadas.

Alcance del AIMS.

Liderazgo y accountability.

Política de IA.

Roles y responsabilidades.

Planificación.

Gestión de riesgos y oportunidades.

Recursos y competencias.

Información documentada.

Operación.

Evaluación del desempeño.

Auditoría interna.

Revisión por Dirección.

No conformidades.

Mejora continua.

AI impact assessment.

Gestión del ciclo de vida.

Relación con ISO/IEC 23894:2023 para gestión de riesgos de IA.

Integración con un SGSI basado en ISO/IEC 27001.

Diferencia entre un sistema de gestión y una arquitectura técnica.

Traducción de requisitos de gobierno a controles verificables.

Inventario de sistemas de IA.

Clasificación y ownership.

Registro de proveedores y dependencias.

Model cards y documentación técnica.

Registro de evaluaciones.

Evidencias de seguridad.

Gestión de excepciones.

Reglamento (UE) 2024/1689 como marco regulatorio europeo.

Diferencia entre proveedor, responsable del despliegue, importador, distribuidor y otros operadores.

Clasificación del sistema y determinación de obligaciones.

Prácticas prohibidas.

Requisitos de transparencia aplicables a determinados sistemas.

Sistemas de alto riesgo.

Artículo 9: proceso continuo de gestión de riesgos.

Riesgos derivados del uso previsto.

Reasonably foreseeable misuse.

Artículo 10: datos y gobernanza de datos en sistemas de alto riesgo.

Artículo 11: documentación técnica.

Artículo 12: conservación automática de registros.

Artículo 13: transparencia e información al responsable del despliegue.

Artículo 14: supervisión humana.

Artículo 15: precisión, robustez y ciberseguridad.

Protección frente a errores, fallos e inconsistencias.

Resiliencia frente a terceros no autorizados.

Data poisoning.

Model poisoning.

Adversarial inputs.

Confidencialidad y vulnerabilidades específicas de IA.

Artículo 17: sistema de gestión de calidad para proveedores de sistemas de alto riesgo.

Post-market monitoring.

Registro de incidentes y mecanismos de mejora.

Evidencias para demostrar que los controles permanecen efectivos durante el ciclo de vida.

Relación entre guardrails y obligaciones de mitigación técnica.

Relación entre evals y precisión, robustez y cybersecurity.

Relación entre logging y trazabilidad regulatoria.

Relación entre human approval y human oversight.

Mapeo NIST AI RMF ↔ ISO/IEC 42001 ↔ Reglamento Europeo de IA.

Eliminación de controles duplicados mediante un único catálogo técnico.

Control ID, riesgo, requisito, responsable, implementación, métrica y evidencia.

Diseño de un AI Security & Governance Control Framework corporativo.