Curso de Amazon SageMaker AI: ML y MLOps en AWS

Creación y estructura de un dominio de Amazon SageMaker AI para proporcionar acceso a SageMaker Studio.

Perfiles de usuario, espacios de trabajo y recursos utilizados por los participantes dentro de un dominio.

Uso de JupyterLab como entorno administrado para exploración de datos, desarrollo y ejecución de código Python.

Uso de Code Editor basado en Code-OSS para proyectos estructurados de machine learning.

Gestión del ciclo de vida de aplicaciones y recursos computacionales iniciados desde SageMaker Studio.

Configuración del rol de ejecución utilizado por SageMaker AI para acceder a los recursos necesarios.

Relación entre credenciales del usuario, rol de ejecución y permisos utilizados por los trabajos administrados.

Acceso programático mediante SageMaker Python SDK, AWS SDK for Python (Boto3) y APIs de SageMaker AI.

Organización de código, configuraciones, datos, modelos y artefactos para evitar dependencias del entorno interactivo.

Gestión responsable de recursos de desarrollo para limitar instancias activas, almacenamiento innecesario y costes evitables.

Aplicación del principio de mínimo privilegio a usuarios, perfiles y roles utilizados por SageMaker AI.

Diferencias entre políticas de identidad, políticas de recursos, roles de servicio y roles de ejecución.

Diseño de permisos para procesamiento, entrenamiento, registro, despliegue y ejecución de Pipelines.

Estructuración de buckets de Amazon S3 para datos originales, datasets procesados, modelos y artefactos de MLOps.

Control de acceso a objetos y prefijos de Amazon S3 utilizados por diferentes proyectos y entornos.

Cifrado de datos almacenados y utilización de AWS Key Management Service cuando la arquitectura lo requiera.

Gestión de imágenes de contenedores de entrenamiento e inferencia mediante Amazon Elastic Container Registry.

Integración de SageMaker AI con Amazon Virtual Private Cloud para arquitecturas empresariales privadas.

Auditoría de operaciones sobre recursos mediante AWS CloudTrail y análisis de eventos relevantes.

Estrategias de etiquetado de recursos para trazabilidad, propiedad, entornos, centros de coste y administración operativa.

Diseño del flujo de datos desde las fuentes originales hasta datasets preparados para entrenamiento.

Diferencias entre procesamiento interactivo y Amazon SageMaker Processing Jobs administrados y reproducibles.

Creación de scripts de transformación desacoplados del notebook utilizado durante la experimentación.

Configuración de entradas, salidas y rutas de Amazon S3 para trabajos de procesamiento.

Uso de contenedores administrados para ejecutar transformaciones de datos a escala.

Tratamiento de datos ausentes, variables categóricas, valores atípicos y transformaciones numéricas.

Creación reproducible de conjuntos de entrenamiento, validación y prueba.

Prevención de data leakage durante la construcción de los datasets utilizados por los modelos.

Parametrización de procesos para reutilizar el mismo código con distintos datasets y ejecuciones.

Versionado lógico de datos, scripts y artefactos para asegurar reproducibilidad dentro de futuros pipelines.

Papel de Amazon SageMaker Feature Store como capa centralizada para almacenar y gestionar features de machine learning.

Estructura de feature groups, definiciones de features, record identifiers y event times.

Diferencias entre Online Store y Offline Store y criterios para seleccionar cada modalidad.

Creación de feature groups y definición de sus esquemas mediante las APIs de SageMaker AI.

Ingesta batch de características generadas a partir de datasets almacenados en Amazon S3.

Ingesta y actualización de características destinadas a casos de inferencia de baja latencia.

Construcción de datasets históricos desde Offline Store para entrenamiento y batch inference.

Recuperación de características desde Online Store para enriquecer solicitudes de inferencia en tiempo real.

Prevención del training-serving skew mediante reutilización coherente de definiciones y procesos de features.

Uso de Feature Processing para automatizar transformación e ingestión de datos mediante pipelines administrados.

Diferencias entre entrenamiento local, ejecución desde notebooks y Amazon SageMaker Training Jobs.

Estructura de un Training Job y relación entre código, contenedor, datasets, instancias y artefactos resultantes.

Utilización de frameworks de machine learning soportados mediante contenedores administrados por AWS.

Desarrollo mediante Script Mode para separar la lógica de entrenamiento del entorno de ejecución.

Configuración de canales de entrada y recuperación de datos desde Amazon S3.

Selección de familias y tamaños de instancias según CPU, memoria, GPU y características del workload.

Configuración de hiperparámetros y variables utilizadas por el código de entrenamiento.

Persistencia de artefactos del modelo y outputs generados durante la ejecución.

Gestión de checkpoints para workloads que necesitan conservar estado durante entrenamientos prolongados.

Análisis de logs, métricas y estados de los Training Jobs mediante SageMaker AI y Amazon CloudWatch.

Identificación de hiperparámetros que afectan al rendimiento, estabilidad y capacidad de generalización del modelo.

Definición de rangos y tipos de parámetros utilizados durante procesos de búsqueda.

Selección de métricas objetivas adecuadas para problemas de clasificación y regresión.

Funcionamiento de los Hyperparameter Tuning Jobs administrados por SageMaker AI.

Configuración de trabajos paralelos y límites de ejecuciones dentro de una estrategia de tuning.

Relación entre coste computacional, número de combinaciones y mejora esperada del modelo.

Uso de métricas emitidas durante el entrenamiento para comparar configuraciones.

Análisis de resultados para identificar las ejecuciones con mejor comportamiento.

Estrategias para reducir tiempos y costes mediante selección adecuada de infraestructura y configuración.

Conversión de los mejores resultados del proceso de tuning en candidatos reproducibles para fases posteriores.

Papel de MLflow dentro del stack actual de experimentación y MLOps de Amazon SageMaker AI.

Arquitectura de una MLflow App administrada y relación entre servicio, metadatos y artefactos almacenados en Amazon S3.

Configuración de permisos IAM necesarios para acceder a las APIs de MLflow desde SageMaker Studio.

Integración del cliente MLflow mediante el paquete sagemaker-mlflow y autenticación administrada por AWS.

Creación de experimentos y runs para organizar iteraciones de entrenamiento.

Registro de parámetros, métricas, tags y artefactos asociados a cada ejecución.

Comparación de resultados mediante la interfaz web de MLflow integrada con SageMaker AI.

Registro de modelos y conservación de información necesaria para reconstruir una determinada ejecución.

Convenciones de nomenclatura y etiquetado para mantener experimentos comprensibles en equipos multidisciplinares.

Uso de MLflow Apps como oferta administrada actual frente a arquitecturas basadas en Tracking Servers anteriores.

Definición de criterios de aceptación antes de considerar un modelo candidato a producción.

Selección de métricas alineadas con las consecuencias reales de falsos positivos, falsos negativos y errores de predicción.

Separación entre evaluación utilizada durante el desarrollo y evaluación final sobre datos reservados.

Construcción de scripts de evaluación ejecutables como trabajos administrados dentro de un workflow.

Generación de informes y artefactos de evaluación utilizables por otros pasos del ciclo MLOps.

Comparación entre modelos candidatos a partir de métricas registradas en MLflow.

Control de versiones de código, dependencias, datasets, configuraciones y artefactos necesarios para reproducir resultados.

Empaquetado del modelo con la lógica de inferencia necesaria para ejecutarlo fuera del proceso de entrenamiento.

Validación de firmas, esquemas de entrada y salidas esperadas antes del despliegue.

Definición de condiciones automáticas que permiten aceptar, rechazar o devolver un modelo a nuevas iteraciones.

Función de Amazon SageMaker Model Registry como catálogo central de modelos preparados para su ciclo de producción.

Organización de modelos mediante Model Groups y versiones incrementales asociadas a cada candidato.

Registro de modelos junto con métricas, artefactos y metadatos obtenidos durante su entrenamiento.

Gestión de estados de aprobación y procesos de revisión antes de promover una determinada versión.

Utilización de staging constructs para representar las distintas etapas del ciclo de vida.

Comparación de versiones para seleccionar candidatos adecuados para nuevos despliegues.

Asociación entre modelos registrados, información de linaje y recursos utilizados para producirlos.

Integración de modelos registrados desde MLflow con SageMaker Model Registry.

Uso de Model Cards para documentar finalidad, características y contexto de utilización de los modelos.

Automatización del despliegue y de los procesos CI/CD a partir de modelos versionados y aprobados.

Función de Amazon SageMaker Pipelines como servicio de orquestación específico para workflows de machine learning.

Modelado del workflow como un directed acyclic graph y gestión de dependencias entre pasos.

Creación de pipelines mediante SageMaker Python SDK y definición programática de sus componentes.

Uso del Pipeline Designer de SageMaker Studio para construir y analizar workflows de forma visual.

Incorporación de pasos de procesamiento, entrenamiento, evaluación, creación y registro de modelos.

Utilización de parámetros para separar la lógica del pipeline de configuraciones específicas de cada ejecución.

Aplicación de condiciones para decidir automáticamente si un modelo puede continuar hacia su registro o despliegue.

Uso del caching de pasos para evitar repetir cálculos cuando sus entradas no han cambiado.

Configuración de políticas de reintento y tratamiento de errores en trabajos automatizados.

Versionado, ejecución selectiva, historial y análisis de linaje de las ejecuciones del pipeline.

Diferencias entre integración continua de software tradicional y CI/CD aplicado a modelos de machine learning.

Separación entre pipeline de construcción del modelo y pipeline de despliegue del modelo.

Organización del código de procesamiento, entrenamiento, evaluación e infraestructura para facilitar automatizaciones.

Validaciones de calidad de código, dependencias y configuración antes de iniciar workloads computacionalmente costosos.

Utilización de AWS CodeBuild para ejecutar procesos automatizados relacionados con el proyecto MLOps.

Orquestación de etapas de integración y entrega mediante AWS CodePipeline.

Generación y almacenamiento de artefactos utilizados durante los procesos de construcción y despliegue.

Activación de Amazon SageMaker Pipelines a partir de eventos y cambios externos.

Uso de Amazon EventBridge para iniciar workflows en respuesta a eventos de datos, modelos o infraestructura.

Diseño de gates de aprobación y mecanismos de promoción controlada entre entornos de desarrollo, validación y producción.

Ciclo de despliegue desde un artefacto entrenado hasta un recurso preparado para servir predicciones.

Construcción de SageMaker Models a partir de artefactos y contenedores de inferencia compatibles.

Diseño de endpoints para inferencia en tiempo real y workloads que requieren baja latencia.

Uso de Serverless Inference para determinados patrones de tráfico intermitente o variable.

Aplicación de Batch Transform cuando las predicciones pueden procesarse de manera asíncrona sobre conjuntos de datos.

Selección de infraestructura considerando latencia, throughput, memoria, CPU, GPU y coste.

Configuración del código de inferencia, serialización de entradas y formato de las respuestas.

Escalado de endpoints según el comportamiento esperado de la carga.

Estrategias de actualización de modelos reduciendo el riesgo asociado al cambio de una versión productiva.

Relación entre SageMaker Model Registry, modelos aprobados y automatización de nuevos despliegues.

Diferencia entre observabilidad de infraestructura, rendimiento del endpoint y calidad predictiva del modelo.

Uso de Amazon CloudWatch Metrics para analizar comportamiento operativo de los endpoints de inferencia.

Centralización de logs de inferencia y diagnóstico operativo mediante Amazon CloudWatch Logs.

Definición de métricas personalizadas relevantes para el servicio y para el comportamiento de las predicciones.

Seguimiento de latencia, invocaciones, errores, saturación y utilización de recursos computacionales.

Construcción de procesos periódicos de evaluación sobre nuevas observaciones utilizando trabajos de procesamiento.

Registro de resultados de evaluación y comportamiento de nuevas versiones mediante MLflow.

Automatización de reevaluación y reentrenamiento mediante Amazon EventBridge y Amazon SageMaker Pipelines.

Diseño de alertas y criterios de actuación ante degradación operacional o pérdida de rendimiento predictivo.

Optimización continua de costes mediante dimensionamiento, escalado, eliminación de recursos inactivos y revisión del patrón de inferencia.

Identificación de un problema empresarial de machine learning y definición de sus objetivos, entradas, salidas y criterios de evaluación.

Diseño de la arquitectura AWS necesaria para soportar datos, procesamiento, entrenamiento, experimentación, registro y despliegue.

Organización de datasets y artefactos en Amazon S3 siguiendo una estructura reproducible y preparada para automatización.

Construcción del proceso de preparación y generación de datos utilizados por el modelo.

Desarrollo de un Training Job reproducible y registro de parámetros, métricas y artefactos mediante MLflow.

Evaluación del modelo y aplicación de criterios objetivos para determinar si puede convertirse en candidato de producción.

Registro y versionado del candidato mediante Amazon SageMaker Model Registry y definición de su proceso de aprobación.

Orquestación del flujo completo mediante Amazon SageMaker Pipelines y automatización de sus principales transiciones.

Diseño del despliegue, observabilidad, gestión de incidencias, reevaluación y estrategia de reentrenamiento del modelo.

Evaluación final de seguridad, trazabilidad, mantenibilidad, costes y oportunidades de evolución de la solución MLOps.