Envíanos tu consulta
Términos y condiciones *
logoImagina
iconoCurso

Curso de Spark con Python Avanzado

DISPONIBLE EN MODALIDAD:
Aprende a usar Apache Spark, el marco de computación de clústeres de código abierto, orientado al procesamiento de datos en tiempo real, que proporciona una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos. Este curso cubrirá conceptos avanzados que abarcarán buenas prácticas y resolución de problemas en un contexto profesional.
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient
Aprende Spark con Python Avanzado: Curso completo
¿A quién va dirigido?
Profesionales que trabajaron con Python o Spark como lenguajes de programación antes y requieren conocimientos más avanzados y buenas prácticas.
Objetivos
  • Profundiza en el uso de Python para el tratamiento de datos.
  • Amplia tus conocimientos en clustering.
  • Mejora en tus procedimientos mediante buenas prácticas.
¿Qué vas a aprender?

Aprende a usar Apache Spark, el marco de computación de clústeres de código abierto, orientado al procesamiento de datos en tiempo real, que proporciona una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos. Este curso cubrirá conceptos avanzados que abarcarán buenas prácticas y resolución de problemas en un contexto profesional.

Requisitos
  • Tener conocimientos previos desarrollando con Python
  • Tener conocimientos previos en el uso de frameworks con Spark y Python.
  • Tener una computadora con acceso a un usuario con permisos de instalación y configuración
  • Tener un IDE listo para desarrollar con Spark y Python 3
Temario del curso
tema 1Repaso de Fundamentos de Spark
  • ¿Que es Spark?
  • Instalación de Spark
  • PySpark
  • Consola de Spark
  • RDD Spark
  • Creación de un RDD
  • RDD Clave-valor
  • Creación de un RDD clave-valor
  • Parámetros de configuración de Spark y recomendaciones
tema 2Apache Spark SQL
  • Introducción a Spark SQL
  • Esquemas
  • Operaciones SQL
  • Opciones de Entrada/Salida
  • DataFrames
  • DataSets
  • Uniones
  • Conjuntos de datos fuertemente tipados
  • Uso de conjunto de datos
  • Conversiones
  • Optimizaciones de rendimiento
tema 3Machine Learning con Spark
  • Introducción a MLLib
  • Creación de un sistema de ML
  • Regresión Lineal con MLLib
  • Dataframes con MLLib
  • Análisis de datos con MLlib
  • Visualizar los datos
  • Optimización
tema 4Clusters
  • Introducción al Clustering
  • Configuración y gestión de Clusters
  • Soluciones más comunes
  • Recomendaciones y Buenas Prácticas
tema 5Algoritmos de cluster
  • K-means
  • Gaussian mixture
  • PIC (Power iteration clustering)
  • Bisecting K-means
  • Streaming K-means
tema 6Spark Streaming
  • Introducción a Spark Streaming
  • Puesta en Marcha
  • Configuraciones
  • Buenas Prácticas
tema 7Spark NLP
  • Introducción al Natural language Processing
  • Usos reales de NLP
  • Configuración y Puesta en Marcha
  • Buenas Prácticas
tema 8GraphX
  • Introducción al proceso en paralelo
  • Qué es Graph X
  • Usos reales de GraphX
  • Configuración y puesta en Marcha
  • Buenas Prácticas
tema 9Despliegue
  • Estructura de los proyectos
  • SBT
  • Despliegue de aplicaciones
  • Empaquetado de aplicaciones
  • Spark-Submit
tema 10Buenas prácticas
  • Recomendaciones de programación paralela
  • Inmutabilidad
  • Uso de lambdas
  • Bucles
  • Uso de funciones dentro de Dataframes
  • Optimización de la sesión de Spark
tema 11Detección de problemas
  • Planes de ejecución
  • Detectando un Shuffle en un procesamiento
  • Probando operaciones que puedan causar un Shuffle
  • Cambiando el diseño de trabajos con dependencias amplias
  • Usando operaciones keyBy para reducir los Shuffle
  • Usando particionadores personalizado

Formación Bonificada para Empresas a través de FUNDAE

Somos entidad organizadora de FUNDAE, todas nuestras formaciones se pueden bonificar hasta el 100%, sujeto a vuestro crédito disponible y a cumplir con todos los requisitos de realización establecidos por la Fundación Estatal para el Empleo.

 

Si desconoces el funcionamiento de las bonificaciones, ofrecemos el servicio de gestión en FUNDAE, consúltanos cualquier duda que te surja.

Descargar Guía FUNDAE
imagenFundae
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient