Envíanos tu consulta
Términos y condiciones *
logoImagina
iconoCurso

Curso de Procesado de datos en streaming con Spark Streaming en Python

DISPONIBLE EN MODALIDAD:
Aprende a instalar, desarrollar, configurar y gestionar la infraestructura relacionada con el broker de mensajería en streaming con Spark Streaming con Python y aprende todo lo necsario para procesar los datos y sacarles la máxima utilidad
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient
Aprende Procesado de datos en streaming con Spark Streaming en Python: Curso completo
¿A quién va dirigido?
Administradores de sistemas, con experiencia en administrar Spark, desarrolladores Python o devops que tengan que instalar o gestionar la infraestructura relacionada con el broker de mensajería en streaming con Spark Streaming
Objetivos
  • Adquirir los conocimientos necesarios sobre streaming de datos utilizando Spark Streaming
  • Aprender a trabajar con diferentes tipos de operaciones de tratamiento de datos en Python
  • Aprender a administrar y gestionar clusters Spark para streaming de datos
  • Conocer cómo escalar y monitorizar la infraestructura de servidores
  • Conocer las herramientas que ofrece Spark Streaming sobre securización y cómo aplicarlas
¿Qué vas a aprender?

Aprende a instalar, desarrollar, configurar y gestionar la infraestructura relacionada con el broker de mensajería en streaming con Spark Streaming con Python y aprende todo lo necsario para procesar los datos y sacarles la máxima utilidad

Requisitos
  • Tener experiencia desarrollando con Python (3 o superior), realizando consultas SQL y haber trabajado con Spark
  • Tener acceso (revisar configuraciones proxy en caso de tenerlas) a una cuenta Community de Azure Databricks para realizar los laboraorios de Spark
  • Tener una computadora con acceso a un usuario con permisos de instalación y configuración
  • Tener un IDE listo para desarrollar con Spark y Python 3, Docker Desktop y Git inslatados previamente
Temario del curso
tema 1Introducción a Spark Streaming y Procesado de Datos en Streaming
  • ¿Qué es Spark Streaming y por qué es importante en el procesamiento de datos en streaming?
  • Ventajas del procesamiento en streaming en comparación con el procesamiento por lotes
  • Escenarios de uso de Spark Streaming en diferentes aplicaciones y casos de uso
  • Comparación con otras soluciones de procesamiento en streaming
  • Integración de Spark Streaming desde PySpark en proyectos Python
tema 2Fundamentos de Spark Streaming
  • Arquitectura y componentes principales de Spark Streaming
  • Modelos de programación en Spark Streaming: DStream API y DataFrame API
  • Procesamiento por lotes vs. procesamiento en streaming en Spark Streaming
  • Ciclo de vida de una aplicación de Spark Streaming
  • Configuración y despliegue de Spark Streaming en diferentes entornos
tema 3Programación de Aplicaciones en Streaming con Spark Streaming
  • Desarrollo de aplicaciones en streaming con la API de DStream
  • Transformaciones y operaciones básicas en Spark Streaming
  • Ventanas de tiempo y procesamiento de datos en ventanas en Spark Streaming
  • Control de tiempo y manejo de eventos en Spark Streaming
  • Manejo de estado y persistencia en aplicaciones de Spark Streaming
tema 4Operadores Avanzados y Procesamiento de Eventos Complejos
  • Uso de operadores avanzados en Spark Streaming: flatMap, reduce, join, etc.
  • Patrones de procesamiento de eventos complejos en Spark Streaming
  • Implementación de patrones de procesamiento de eventos complejos
  • Uso de patrones de ventanas avanzadas en Spark Streaming
  • Aplicación de técnicas de optimización y rendimiento en aplicaciones de Spark Streaming
tema 5Administración y Monitorización de Aplicaciones en Spark Streaming
  • Configuración y gestión de clústeres de Spark Streaming
  • Monitorización y análisis de rendimiento de aplicaciones de Spark Streaming
  • Implementación de políticas de tolerancia a fallos y recuperación en Spark Streaming
  • Escalado y alta disponibilidad en Spark Streaming
  • Uso de herramientas de monitorización externas (Prometheus, Grafana) para Spark Streaming
tema 6Gestión de Estado y Persistencia en Spark Streaming
  • Manejo de estado en aplicaciones de Spark Streaming
  • Configuración de mecanismos de persistencia y almacenamiento en Spark Streaming
  • Uso de bases de datos externas y sistemas de almacenamiento en Spark Streaming
  • Implementación de checkpoints y puntos de control en Spark Streaming
  • Migración y actualización de aplicaciones de Spark Streaming con cambios de estado
tema 7Procesamiento de Datos en Batch con Spark Streaming
  • Uso de la API de DataFrame en Spark Streaming para procesamiento por lotes
  • Transformaciones y operaciones básicas en aplicaciones de Spark Streaming en batch
  • Optimización de rendimiento en el procesamiento de datos por lotes en Spark Streaming
  • Integración de aplicaciones de Spark Streaming en batch y streaming
tema 8Administración de Recursos y Optimización en Spark Streaming
  • Gestión de recursos y configuración avanzada en Spark Streaming
  • Estrategias de particionamiento y asignación de recursos en Spark Streaming
  • Optimización de rendimiento en aplicaciones de Spark Streaming
  • Uso de herramientas y técnicas para el análisis y optimización del rendimiento en Spark Streaming
  • Ajuste de parámetros de configuración y recursos en Spark Streaming
  • Análisis y resolución de cuellos de botella en aplicaciones de Spark Streaming
  • Estrategias de escalado horizontal y vertical en clústeres de Spark Streaming
tema 9Procesamiento de Datos en Streaming Avanzado con Spark Streaming
  • Procesamiento de datos en ventana deslizante y ventana de sesión en Spark Streaming
  • Uso de funciones de ventana personalizadas en aplicaciones de Spark Streaming
  • Procesamiento de datos en tiempo real con latencia ultrabaja en Spark Streaming
  • Procesamiento de datos de alta velocidad y volumen en Spark Streaming
  • Integración de Spark Streaming con sistemas externos de almacenamiento y procesamiento
tema 10Administración de Seguridad en Spark Streaming
  • Configuración de autenticación y autorización en Spark Streaming
  • Gestión de roles y permisos en aplicaciones de Spark Streaming
  • Implementación de mecanismos de seguridad en clústeres de Spark Streaming
  • Configuración de conexiones seguras (TLS/SSL) en Spark Streaming
  • Prevención de ataques y mitigación de riesgos de seguridad en Spark Streaming
tema 11Patrones Avanzados de Procesamiento en Streaming con Spark Streaming
  • Implementación de patrones de agregación y reducción en Spark Streaming
  • Uso de patrones de correlación y ventana temporal en Spark Streaming
  • Procesamiento de eventos fuera de orden y manejo de retrasos en Spark Streaming
  • Implementación de patrones de enriquecimiento y transformación en Spark Streaming
  • Uso de patrones de detección de anomalías y aprendizaje automático en Spark Streaming
tema 12Proyecto Final: Desarrollo de una Solución de Procesamiento en Streaming con Spark Streaming y Python
  • Definición y alcance del proyecto final
  • Diseño y planificación de la solución de procesamiento en streaming con Spark Streaming y Python
  • Implementación de la solución utilizando Spark Streaming y herramientas relacionadas en Python
  • Pruebas, despliegue y evaluación de la solución final
  • Presentación y demostración del proyecto final

Formación Bonificada para Empresas a través de FUNDAE

Somos entidad organizadora de FUNDAE, todas nuestras formaciones se pueden bonificar hasta el 100%, sujeto a vuestro crédito disponible y a cumplir con todos los requisitos de realización establecidos por la Fundación Estatal para el Empleo.

 

Si desconoces el funcionamiento de las bonificaciones, ofrecemos el servicio de gestión en FUNDAE, consúltanos cualquier duda que te surja.

Descargar Guía FUNDAE
imagenFundae
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient