Envíanos tu consulta
Términos y condiciones *
*Si no puedes asistir en directo de facilitaremos un enlace para verlo en diferido
logoImagina
iconoCurso

Curso completo de Spark con Python Avanzado

DISPONIBLE EN MODALIDAD:
Aprende a usar Apache Spark, el marco de computación de clústeres de código abierto, orientado al procesamiento de datos en tiempo real, que proporciona una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos. Este curso cubrirá conceptos avanzados que abarcarán buenas prácticas y resolución de problemas en un contexto profesional.
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient
Formación en Spark con Python Avanzado bonificable para empresas

¿A quién va dirigido?

Profesionales que trabajaron con Python o Spark como lenguajes de programación antes y requieren conocimientos más avanzados y buenas prácticas.

Objetivos

  • Profundiza en el uso de Python para el tratamiento de datos.
  • Amplia tus conocimientos en clustering.
  • Mejora en tus procedimientos mediante buenas prácticas.

¿Qué vas a aprender?

Aprende a usar Apache Spark, el marco de computación de clústeres de código abierto, orientado al procesamiento de datos en tiempo real, que proporciona una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos. Este curso cubrirá conceptos avanzados que abarcarán buenas prácticas y resolución de problemas en un contexto profesional.

Requisitos

  • Tener conocimientos previos desarrollando con Python
  • Tener conocimientos previos en el uso de frameworks con Spark y Python.
  • Tener una computadora con acceso a un usuario con permisos de instalación y configuración
  • Tener un IDE listo para desarrollar con Spark y Python 3

Temario del curso

tema 1

Repaso de Fundamentos de Spark

  • ¿Que es Spark?
  • Instalación de Spark
  • PySpark
  • Consola de Spark
  • RDD Spark
  • Creación de un RDD
  • RDD Clave-valor
  • Creación de un RDD clave-valor
  • Parámetros de configuración de Spark y recomendaciones
tema 2

Apache Spark SQL

  • Introducción a Spark SQL
  • Esquemas
  • Operaciones SQL
  • Opciones de Entrada/Salida
  • DataFrames
  • DataSets
  • Uniones
  • Conjuntos de datos fuertemente tipados
  • Uso de conjunto de datos
  • Conversiones
  • Optimizaciones de rendimiento
tema 3

Machine Learning con Spark

  • Introducción a MLLib
  • Creación de un sistema de ML
  • Regresión Lineal con MLLib
  • Dataframes con MLLib
  • Análisis de datos con MLlib
  • Visualizar los datos
  • Optimización
tema 4

Clusters

  • Introducción al Clustering
  • Configuración y gestión de Clusters
  • Soluciones más comunes
  • Recomendaciones y Buenas Prácticas
tema 5

Algoritmos de cluster

  • K-means
  • Gaussian mixture
  • PIC (Power iteration clustering)
  • Bisecting K-means
  • Streaming K-means
tema 6

Spark Streaming

  • Introducción a Spark Streaming
  • Puesta en Marcha
  • Configuraciones
  • Buenas Prácticas
tema 7

Spark NLP

  • Introducción al Natural language Processing
  • Usos reales de NLP
  • Configuración y Puesta en Marcha
  • Buenas Prácticas
tema 8

GraphX

  • Introducción al proceso en paralelo
  • Qué es Graph X
  • Usos reales de GraphX
  • Configuración y puesta en Marcha
  • Buenas Prácticas
tema 9

Despliegue

  • Estructura de los proyectos
  • SBT
  • Despliegue de aplicaciones
  • Empaquetado de aplicaciones
  • Spark-Submit
tema 10

Buenas prácticas

  • Recomendaciones de programación paralela
  • Inmutabilidad
  • Uso de lambdas
  • Bucles
  • Uso de funciones dentro de Dataframes
  • Optimización de la sesión de Spark
tema 11

Detección de problemas

  • Planes de ejecución
  • Detectando un Shuffle en un procesamiento
  • Probando operaciones que puedan causar un Shuffle
  • Cambiando el diseño de trabajos con dependencias amplias
  • Usando operaciones keyBy para reducir los Shuffle
  • Usando particionadores personalizado

Curso de Spark con Python Avanzado bonificado para Empresas a través de FUNDAE

Somos entidad organizadora de FUNDAE, todas nuestras formaciones se pueden bonificar hasta el 100%, sujeto a vuestro crédito disponible y a cumplir con todos los requisitos de realización establecidos por la Fundación Estatal para el Empleo.

 

Si desconoces el funcionamiento de las bonificaciones, ofrecemos el servicio de gestión en FUNDAE, consúltanos cualquier duda que te surja.

Descargar Guía FUNDAE
imagenFundae
iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient