Curso de MLOps (Machine Learning Operations) para tu equipo

Configuración de Python, entornos virtuales y gestión reproducible de dependencias.

Uso de `venv`, `pip`, `pyproject.toml` y lockfiles según las herramientas seleccionadas.

Organización profesional del proyecto separando código, configuración, tests, datos, modelos y artefactos.

Git como sistema de versionado del código y base para automatización CI/CD.

Estrategia de branches, Pull Requests, tags y releases aplicada a proyectos de Machine Learning.

Instalación y utilización de Docker para encapsular entrenamiento, inferencia y herramientas auxiliares.

Dockerfile, imágenes, contenedores, volúmenes, redes y variables de entorno.

Registros de imágenes y versionado mediante tags y digest.

Introducción a Kubernetes y su función como plataforma de ejecución y escalado de workloads de Machine Learning.

`kubectl`, namespaces, Pods, Deployments, Services, ConfigMaps y Secrets.

Configuración de un clúster local mediante kind o Minikube para desarrollo y validación.

Introducción a MLflow, DVC, Apache Airflow, Kubeflow, KServe, Prometheus y Grafana dentro del stack MLOps.

Configuración de credenciales cloud evitando incluir secretos directamente en repositorios o notebooks.

Gestión de CPU, memoria, GPU y almacenamiento según entrenamiento, serving y volumen de datos.

Separación entre entornos de desarrollo, integración, staging y producción.

Importancia del dato como dependencia versionada del modelo y no únicamente como entrada temporal de entrenamiento.

Identificación de datasets de entrenamiento, validación, test, inferencia y feedback productivo.

Versionado conjunto de código, datos, parámetros, métricas y artefactos.

DVC para gestionar datasets y artefactos de gran tamaño manteniendo referencias dentro de Git.

Remotes de DVC sobre almacenamiento local, S3, Azure Blob Storage, Google Cloud Storage y sistemas equivalentes.

Pipelines DVC mediante `dvc.yaml`, dependencias, outputs y reproducción de etapas.

Experimentos DVC para relacionar modificaciones de código, parámetros, datos, métricas y modelos.

Validación de schemas, tipos, rangos, categorías, nulos y reglas de calidad antes del entrenamiento.

Diferencia entre data quality, data validation y model validation.

Prevención de data leakage durante preparación y particionado de datasets.

Dataset snapshots para poder reconstruir exactamente un entrenamiento histórico.

Data lineage desde sistemas origen hasta dataset, feature, modelo y predicción.

Tratamiento de PII, anonimización, pseudonimización y minimización de información.

Procesamiento incremental y estrategias para evitar reprocesamientos completos innecesarios.

Contratos de datos y ownership como mecanismos para controlar cambios que pueden degradar un modelo.

Feature Engineering como transformación del dato bruto en información consumible por los modelos.

Diferencia entre feature calculada durante exploración y feature gestionada como activo productivo.

Riesgo de duplicar la lógica de transformación entre entrenamiento e inferencia.

Training-serving skew producido cuando una misma feature se calcula de manera diferente en ambos entornos.

Offline Store para reconstruir datasets históricos utilizados durante entrenamiento.

Online Store para proporcionar features de baja latencia durante inferencia.

Point-in-time correctness para evitar incorporar información futura en los datos históricos.

Feast como Feature Store open source para definir, gestionar y servir features en sistemas productivos.

Entities, Feature Views, Data Sources y Feature Services.

Feature Registry como catálogo versionable de definiciones.

Materialización desde Offline Store hacia Online Store.

Features batch frente a features procedentes de streams.

On-demand transformations y transformaciones realizadas por motores externos como Spark o SQL.

RBAC y control de acceso sobre features compartidas entre equipos.

Feature Store como componente reutilizable y no como requisito obligatorio para cualquier proyecto de Machine Learning.

¿Qué es un pipeline y por qué permite transformar un proceso manual en una secuencia reproducible y automatizable?

Separación de etapas de ingestión, validación, preparación, feature engineering, entrenamiento, evaluación y registro.

Componentes independientes con inputs, outputs, dependencias y contratos definidos.

Idempotencia para poder repetir una ejecución sin producir estados inconsistentes.

Parametrización del pipeline para evitar modificar código entre ejecuciones.

Orquestación mediante Apache Airflow y definición de dependencias entre tareas.

Airflow 3 y evolución hacia workflows orientados a assets, estado de tareas y ejecución desacoplada.

Kubeflow Pipelines como mecanismo para construir pipelines ML sobre Kubernetes.

Kubeflow Community Distribution como conjunto actual de componentes para pipelines, entrenamiento, serving y gestión de activos ML.

Caching de etapas y reutilización de resultados cuando sus inputs no han cambiado.

Retries, timeouts y tratamiento de fallos parciales.

Ejecución condicional cuando un modelo no supera los criterios mínimos establecidos.

Scheduling temporal frente a ejecución provocada por nuevos datos, commits o eventos.

Metadata de ejecución y relación entre pipeline run, datos, parámetros, código y modelo resultante.

Diseño de pipelines desacoplados del proveedor cloud para reducir dependencias innecesarias cuando el contexto lo requiere.

Diferencias entre entrenamiento exploratorio en notebooks y entrenamiento ejecutado como workload reproducible.

Separación del código de entrenamiento respecto a la interfaz utilizada por el Data Scientist.

Gestión de parámetros, hiperparámetros y configuración mediante archivos o sistemas externos.

MLflow Tracking para registrar runs, parámetros, métricas, artefactos, datasets y modelos.

Organización de experimentos para comparar ejecuciones de forma reproducible.

MLflow como plataforma actual para tracking de Machine Learning y observabilidad y evaluación de aplicaciones generativas.

Optimización de hiperparámetros mediante Optuna, Katib u otras herramientas compatibles con la plataforma.

Validación cruzada y criterios de evaluación acordes al tipo de problema.

Entrenamiento distribuido y utilización de CPU, GPU o aceleradores cuando el modelo lo requiere.

Requests y limits de recursos para evitar competir descontroladamente con otras cargas.

Reproducibilidad mediante versión del código, datos, entorno, dependencias, parámetros y seeds.

Captura de logs, checkpoints y artefactos de entrenamiento.

Gestión de fallos y reanudación cuando un entrenamiento de larga duración se interrumpe.

Evaluación automática contra un baseline o modelo actualmente productivo.

Criterios de finalización que separen un entrenamiento técnicamente correcto de un modelo candidato a producción.

Versionado coordinado de código, datos, features, configuración, entornos y modelos.

Semantic Versioning frente a identificadores internos de experimentos y modelos.

Hashes y content-addressable storage para garantizar identidad de artefactos.

MLflow Model Registry para gestionar versiones, aliases, metadata y ciclo de vida del modelo.

Separación entre experiment tracking y registro formal de un modelo candidato.

Model Registry como catálogo central de modelos preparados para evaluación, aprobación o despliegue.

Kubeflow Hub como evolución del anterior Model Registry dentro del ecosistema Kubeflow.

Estados de candidato, validado, aprobado, rechazado, desplegado y retirado.

Lineage entre modelo, run de entrenamiento, commit, dataset, features, métricas y entorno.

Model cards para documentar propósito, datos, métricas, limitaciones y uso previsto.

Gestión de artefactos adicionales: preprocessors, tokenizers, encoders y configuraciones.

Compatibilidad entre modelo, código de inferencia y schema de entrada.

Promoción entre development, staging y production sin volver a entrenar innecesariamente.

Rollback mediante referencias a versiones previamente validadas.

Política de retención y retirada de versiones obsoletas para controlar almacenamiento y riesgo operativo.

Diferencias entre testing de software convencional y validación de un sistema de Machine Learning.

Unit tests de transformaciones, features, utilidades y lógica de negocio.

Tests sobre schemas, tipos, rangos, nulos y reglas de calidad de los datos.

Tests de reproducibilidad sobre pipelines y componentes críticos.

Integration tests entre almacenamiento, Feature Store, Registry y serving.

Validación del modelo frente a métricas mínimas de calidad.

Comparación contra baseline, champion o versión productiva anterior.

Validación por segmentos para evitar que una métrica agregada oculte degradaciones importantes.

Tests de invariantes y expectativas sobre predicciones.

Pruebas de robustez frente a valores extremos, datos incompletos y cambios de distribución.

Tests de latencia, throughput, memoria y consumo de recursos antes del despliegue.

Security scanning de código, dependencias, contenedores y artefactos.

Pruebas del contrato de entrada y salida del endpoint.

Quality Gates automáticos que impidan promocionar un modelo que no cumple los requisitos.

Separación entre aprobación técnica, aprobación de negocio y autorizaciones regulatorias cuando resulten necesarias.

Diferencias entre batch inference, real-time inference, asynchronous inference y procesamiento streaming.

Selección del patrón de serving según volumen, latencia, frecuencia y coste.

APIs REST o gRPC para exponer inferencia a aplicaciones consumidoras.

Empaquetado del modelo, código de inferencia y dependencias dentro de una imagen reproducible.

Docker como unidad de distribución para servicios de inferencia.

Kubernetes para scheduling, disponibilidad, networking y escalado de servicios ML.

KServe `InferenceService` como abstracción para desplegar modelos predictivos sobre Kubernetes.

Modos Standard y Knative de KServe y diferencias entre Kubernetes convencional y serving serverless.

Horizontal Pod Autoscaler y escalado en función de CPU, memoria u otras señales.

KEDA y métricas de Prometheus u OpenTelemetry para determinados patrones de autoscaling avanzado.

CPU frente a GPU serving y criterios de dimensionamiento.

Model servers, carga del modelo, warm-up y gestión del tiempo de inicialización.

Timeouts, retries, rate limiting y protección frente a sobrecarga.

Contratos de inferencia y validación estricta de inputs.

Gestión del ciclo de vida del endpoint desde creación hasta retirada definitiva.

Continuous Integration aplicada a código, pipelines, datos y componentes ML.

Continuous Delivery para preparar automáticamente una versión desplegable.

Continuous Deployment cuando una versión validada puede promocionarse sin intervención manual.

Continuous Training como automatización del reentrenamiento ante datos, eventos o condiciones definidas.

GitHub Actions, GitLab CI, Azure Pipelines, Jenkins u otras plataformas como motores de automatización.

Pipeline CI para linting, tests, seguridad, build y validaciones de datos.

Construcción y publicación de imágenes Docker dentro de un container registry.

Promoción de modelos mediante metadata y estados del Model Registry.

Infraestructura como código mediante Terraform u opciones equivalentes.

Separación de configuración y credenciales por development, staging y production.

Blue/Green Deployment para cambiar entre dos versiones completas.

Canary Deployment para dirigir progresivamente un porcentaje del tráfico hacia una nueva versión.

KServe permite canary rollout y rollback hacia una revisión saludable en su modalidad serverless.

Shadow deployment para observar una nueva versión sin utilizar todavía sus predicciones frente al usuario.

Rollback automático cuando salud, rendimiento o métricas de calidad incumplen los criterios establecidos.

Diferencia entre monitorizar infraestructura, servicio, datos y comportamiento predictivo.

Latencia, throughput, disponibilidad, tasa de errores y saturación del servicio.

CPU, memoria, GPU y utilización de recursos.

Prometheus como sistema de métricas y Grafana como capa habitual de visualización y alerting.

OpenTelemetry como estándar vendor-neutral para generar, recopilar y exportar trazas, métricas y logs.

Logging estructurado de requests, versiones, resultados y errores evitando registrar datos sensibles innecesarios.

Correlation IDs y distributed tracing para seguir una predicción a través de varios servicios.

Data drift como cambio en la distribución de las variables de entrada.

Prediction drift como cambio de las distribuciones de salida.

Concept drift como cambio en la relación entre inputs y resultado real.

Training-serving skew como diferencia entre el procesamiento aplicado durante entrenamiento e inferencia.

Monitorización de missing values, categorías desconocidas, rangos y anomalías.

Performance monitoring cuando se dispone posteriormente del ground truth.

Alertas diferenciadas por severidad para evitar sistemas que generan ruido operativo constante.

Dashboards que combinen salud técnica, calidad del dato, calidad predictiva y versión actualmente desplegada.

Diferencia entre monitorizar una degradación y decidir que un modelo debe volver a entrenarse.

Reentrenamiento periódico frente a reentrenamiento provocado por eventos.

Triggers basados en disponibilidad de nuevos labels.

Triggers basados en data drift o performance degradation.

Umbrales mínimos para evitar reentrenamientos innecesarios causados por variaciones normales.

Feedback loops para incorporar resultados reales al dataset de aprendizaje.

Label delay y dificultad de evaluar modelos cuando el ground truth tarda en estar disponible.

Active Learning para seleccionar observaciones que aportan mayor información.

Champion/Challenger para comparar una versión productiva frente a nuevos candidatos.

Backtesting de nuevos modelos sobre ventanas temporales históricas.

Continuous Evaluation antes de permitir cualquier sustitución del modelo actual.

Evitación de feedback loops dañinos cuando las propias predicciones modifican los datos futuros.

Reentrenamiento reproducible desde pipeline y no mediante intervención manual sobre notebooks.

Retirada de modelos cuando dejan de aportar valor o el caso de uso desaparece.

Registro completo de por qué se promovió, mantuvo, reentrenó o retiró una versión.

Principios para trasladar una arquitectura MLOps a servicios cloud gestionados.

Separación entre almacenamiento, procesamiento, entrenamiento, registry, serving y monitorización.

AWS SageMaker AI para Experiments, Pipelines, Lineage, Model Registry, Deployment y Model Monitor.

SageMaker Projects para estandarizar repositorios, imágenes, pipelines, entrenamiento, despliegue y monitorización mediante CI/CD.

Azure Machine Learning para assets, components, registries, pipelines y endpoints.

Managed Online Endpoints para inferencia de baja latencia y Batch Endpoints para cargas asíncronas o grandes volúmenes.

Azure ML Registries para compartir modelos, componentes y entornos entre workspaces conservando lineage.

Vertex AI como plataforma gestionada de Google Cloud para training, pipelines, registry, serving y monitorización.

Servicios gestionados frente a una plataforma Kubernetes construida y operada por la propia organización.

Kubeflow como alternativa portable para organizaciones que buscan un stack Kubernetes orientado a Machine Learning.

Arquitecturas híbridas con datos on-premise y capacidad de entrenamiento o inferencia en cloud.

Multi-cloud y costes de portabilidad frente a complejidad operativa adicional.

FinOps aplicado a CPU, GPU, almacenamiento, transferencia, endpoints y recursos inactivos.

Spot/preemptible capacity para determinadas cargas tolerantes a interrupciones.

Etiquetado, presupuestos, quotas, autoscaling y shutdown automático como controles de coste.

Seguridad by design durante datos, entrenamiento, registry, deployment y monitoring.

IAM y principio de mínimo privilegio para usuarios, pipelines, workloads y servicios.

Workload Identity y credenciales temporales frente a secretos estáticos almacenados en archivos.

Secrets managers para credenciales de bases de datos, APIs y servicios externos.

Cifrado en tránsito y en reposo para datos, modelos y artefactos.

Network policies, private endpoints y segmentación de red para limitar exposición.

Supply chain security sobre código, paquetes, imágenes y dependencias de Machine Learning.

Firmado y verificación de imágenes o artefactos cuando la política de la organización lo requiere.

Auditoría sobre quién entrenó, aprobó, desplegó o retiró una versión.

Responsible AI mediante documentación, fairness, explicabilidad, privacidad, supervisión y gestión de riesgos.

Model cards, lineage y evidencias como soporte de gobierno y procesos de auditoría.

LLMOps como ampliación de MLOps para prompts, modelos fundacionales, RAG, evaluaciones, costes y trazas.

Versionado conjunto de prompts, configuraciones, modelos, herramientas y datasets de evaluación.

MLflow actual incorpora tracing, evaluación y observabilidad para aplicaciones GenAI y agentes además de las capacidades tradicionales de ML.

Gobierno unificado que permita operar modelos predictivos, modelos generativos y agentes sin perder ownership, controles ni trazabilidad.

Definición del caso de uso, objetivo empresarial, usuarios y criterios de éxito del sistema de Machine Learning.

Arquitectura end-to-end con fuentes, datos, features, training, registry, serving, monitoring y feedback.

Estrategia de Git y versionado de código, configuración, datos y artefactos.

Pipeline de datos reproducible con validaciones de calidad y lineage.

Diseño de Feature Engineering y decisión justificada sobre la necesidad de Feature Store.

Pipeline automatizado de entrenamiento, evaluación y registro del modelo.

MLflow Tracking y Model Registry como fuente de experimentos, métricas, artefactos y versiones.

Quality Gates de datos, software y rendimiento predictivo antes de promover el modelo.

Imagen de inferencia reproducible y estrategia de almacenamiento en Container Registry.

Arquitectura de deployment batch u online según las necesidades de latencia y volumen.

Estrategia de Kubernetes, KServe o servicio cloud gestionado para hosting del modelo.

CI/CD/CT con promoción entre development, staging y production.

Estrategia de canary, Blue/Green, shadow testing y rollback.

Sistema de monitorización para latencia, errores, recursos, data drift, prediction drift y rendimiento del modelo.

Workflow de reentrenamiento, evaluación continua, aprobación, gobierno, seguridad y retirada de versiones.