Envíanos tu consulta
![iconoCurso](data:image/svg+xml;utf8, <svg width="920" height="920" viewBox="0 0 920 920" fill="none" xmlns="http://www.w3.org/2000/svg">
<path fill-rule="evenodd" clip-rule="evenodd" d="M296.077 564.553C300.632 566.314 302.387 568.417 302.462 573.462C299.28 637.488 296.112 687.492 293.723 755.884C293.23 770 295.189 782.5 301.112 791C307.035 799.5 331.612 816.105 361.328 798.471C371.38 792.505 380.195 782.804 386.862 774C422.832 726.494 459.5 686.5 495.966 643.142C498.904 638.782 501.377 637.842 506.486 639.488C530.674 647.249 552.029 652.631 571.031 658.202C576.246 659.731 581.51 661.274 586.957 662.885C599.215 666.632 611.461 670.396 623.707 674.181C637.794 678.515 651.712 681.717 666.704 679.528C693.465 675.567 713.193 653.501 712.927 626.57C712.813 614.745 708.632 603.994 703.195 593.697L698.82 585.399C677.349 544.673 656.143 504.451 634.739 464.131C632.578 460.001 632.64 457.387 635.757 453.72C673.663 409.023 711.908 363.929 750.04 319.062C757.565 310.179 764.28 300.843 768.145 289.754C776.688 265.368 765.655 246.199 740.479 241.492C728.881 239.325 717.509 240.406 706.194 243.387C651.316 257.815 596.72 272.243 542.124 286.897C537.276 288.175 534.911 287.293 532.28 282.897L530.714 280.287C508.837 243.822 487.058 207.521 464.955 171.436C459.806 163.005 453.866 154.858 446.907 147.899C426.144 127.349 399.044 128.141 379.582 149.755C374.151 155.695 369.653 162.655 365.89 169.784C357.825 185.024 355.086 201.676 352.346 218.329C351.75 221.955 351.153 225.581 350.502 229.192C343.656 266.534 336.924 304.555 330.361 342.35C329.569 346.791 327.679 348.625 323.572 349.932C312.783 353.344 301.976 356.753 291.155 360.167C253.175 372.148 215.039 384.179 177.04 396.553C166.347 400.061 155.598 404.53 146.15 410.584C117.296 429.255 112.997 459.356 134.665 485.835C144.226 497.603 156.503 505.694 170.195 511.804C214.103 531.321 251.143 547.49 296.077 564.553ZM619.854 590.98C620.235 591.815 620.681 592.791 621.24 593.986L621.766 594.517C610.008 591.255 598.351 588.036 586.764 584.843C552.553 574.059 518.238 563.045 484.037 552.016C480.219 550.808 478.022 551.135 475.653 554.688C439.11 599.454 364.418 692.492 364.418 692.492C364.418 692.492 373.301 568.282 377.008 515.968C376.911 511.006 375.423 508.857 370.768 507.09C359.646 502.869 348.215 498.447 336.626 493.919C300.135 479.383 264.038 465.044 227.942 450.705C230.29 448.583 232.434 447.678 234.618 446.993C239.963 445.298 245.308 443.603 250.653 441.908C295.085 427.819 339.486 413.739 383.978 399.749C387.519 398.629 389.528 397.192 389.862 393.299C390.11 390.409 390.684 387.516 391.257 384.627C391.491 383.443 391.726 382.26 391.938 381.078C397.006 352.302 402.106 323.754 407.214 295.161C408.835 286.088 410.457 277.011 412.079 267.92C413.36 260.759 414.666 253.623 415.973 246.479C416.618 242.955 417.263 239.429 417.906 235.896C420.554 237.633 421.906 239.647 423.145 241.724C447.416 281.329 471.574 321.557 495.562 361.672C497.543 364.942 499.325 366.091 503.257 365.032C534.321 356.594 565.79 348.281 597.225 339.976C608.156 337.088 619.082 334.202 629.986 331.311C636.901 329.489 643.791 327.7 650.671 325.913C653.98 325.054 657.287 324.195 660.594 323.334C660.13 325.897 659.027 327.419 657.788 328.856C637.887 351.967 618.15 375.207 598.402 398.46C583.342 416.193 568.274 433.934 553.122 451.633C550.073 455.254 549.79 457.732 552.019 461.93C570.539 496.804 588.863 531.679 607.187 566.553C610.862 573.547 614.537 580.541 618.213 587.536C618.732 588.524 619.197 589.542 619.854 590.98Z" fill="%23E25A1C"/>
</svg>)
Curso de Spark
DISPONIBLE EN MODALIDAD:
Aula Virtual Personalizada
Apache Spark es un framework de computación en clúster de código abierto, orientado al procesamiento de datos en tiempo real, que provee de una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos y actualmente es el proyecto de Apache más activo.
Apache Spark es un framework de computación en clúster de código abierto, orientado al procesamiento de datos en tiempo real, que provee de una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos y actualmente es el proyecto de Apache más activo.
En este curso aprenderás a utilizar Spark desde la base para operar sobre datos, conocerás qué son los clusters y cómo trabajar con ellos, qué es el machine learning y a desplegar aplicaciones.
Formación en Spark bonificable para empresas
A quién va dirigido nuestro curso de Spark
A todos aquellos desarrolladores que quieran aprender la tecnología de procesamiento de datos en memoria más puntera del mercado.
Objetivos de nuestro curso de Spark
- Aprender a utilizar Scala y Python con el framework Spark 3x a través de Databricks y localmente
- Aprender los fundamentos de Spark y crear RDDs, DataFrames y DataSets
- Aprender a gestionar, preparar y organizar datos, además de entender el ciclo de vida del dato
- Aprender a crear, entrenar y evaluar modelos de ML con Spark
- Aprender a detectar problemas y aplicar buenas prácticas en la gestión de los datos
Qué vas a aprender en nuestro curso de Spark
Apache Spark es un framework de computación en clúster de código abierto, orientado al procesamiento de datos en tiempo real, que provee de una interfaz para programar clústers con paralelismo de datos implícito y tolerancia a fallos y actualmente es el proyecto de Apache más activo.
En este curso aprenderás a utilizar Spark desde la base para operar sobre datos, conocerás qué son los clusters y cómo trabajar con ellos, qué es el machine learning y a desplegar aplicaciones.
Requisitos de nuestro curso de Spark
- Tener experiencia desarrollando con Scala o Python y haber realzado consultas SQL
- Son necesarios permisos de instalación en el equipo en el que se realice la formación
- Tener acceso (revisar configuraciones proxy en caso de tenerlas) a una cuenta Community de Azure Databricks para realizar los laboraorios de Spark
- Tener Scala, Python 3 y Git instalados previamente para reproducir ejemplos localmente
Temario del curso de Spark
tema 1
Introducción
- El problema del Big Data
- ¿Qué es Spark?
- Usos de Spark en el mundo real
- Configurando nuestro IDE: IntelliJ IDEA
- ¿Qué es Hadoop?
- HDFS
- Principales comandos de HDFS
- Introducción a Yarn
- Instalación de Hadoop
- ¿Qué es HBase?
- Instalación de Spark local
- Arquitectura
- Componentes
- Ejecutando la consola interactiva de Spark
- Ejercicio de iniciación
- Recomendaciones
tema 2
Fundamentos de Spark
- Arquitectura de una aplicación Spark
- Introducción a las APIs de Spark
- Iniciando Spark
- SparkSession
- Introducción a los Dataframes
- Introducción a las particiones
- Introducción a las transformaciones
- Ejecución de la aplicación
- Ciclo de vida fuera de las aplicaciones
- Peticiones
- Lanzamiento
- Ejecución
- Finalización
- Ciclo de vida dentro de las aplicaciones
- Instrucciones lógicas
- Job de Spark
- Stages
- Task
tema 3
Herramientas de Spark
- Transmisión estructurada
- Ejecución de aplicaciones en producción
- Datasets
- APIs de bajo nivel
- Ecosistema y paquetes de Spark
- SparkR (Solo con R)
tema 4
DataFrames, SQL y DataSets
- DataFrames
- DataSets
- DataFrames vs DataSets
- Esquemas
- Columnas y filas
- Tipos en Spark
- Planificación lógica
- Planificación física
- Ejecución
tema 5
Operaciones estructuradas
- Operaciones sobre esquemas
- Columnas y expresiones
- Creación de filas
- Creación de DataFrames
- Selección con "select" y "selectExpr"
- Conversión de tipos
- Añadir columnas
- Renombrado de columnas
- "Casteo" del tipo de las columnas
- Obtención de filas
- Filtrado de filas
- Muestreo aleatorio
- Divisiones aleatorias
- Uniones de filas
- Aplicando límites
- Ordenación de filas
- Repartición y unión
tema 6
Trabajo con tipos distintos de datos
- Conversión a tipos de Spark
- Trabajando con números
- Trabajando con cadenas de texto
- Trabajando con expresiones regulares
- Trabajando con fechas y horas
- Trabajando con booleanos
- Trabajando con datos nulos
- Trabajando con arrays, maps, estructuras y otros datos complejos
- Trabajando con JSON
- Ordenación de datos
- Uso de funciones definidas por el usuario
tema 7
Agregaciones y Uniones
- Funciones de agregación disponibles en Spark
- Agrupaciones con expresiones
- Agrupaciones con maps
- Agrupación de sets
- Funciones ventana
- Uso de funciones de agregación definidas por el usuario
- Expresiones de unión (joins)
- Tipos de Joins
- ¿Cómo realiza Spark los joins?
tema 8
Orígenes de datos
- Las bases de la API de lectura de datos
- Las bases de la API de escritura de datos
- Lectura y escritura de archivos CSV
- Lectura y escritura de archivos JSON
- Lectura y escritura de bases de datos SQL
- Lectura y escritura de archivos ORC
- Lectura y escritura de archivos TXT
tema 9
Apache Spark SQL
- Introducción a Spark SQL
- Introducción a Apache Hive y relación con Spark
- Introducción a Spark SQL CLI
- Introducción a Interfaz programática de SQL de Spark
- Operaciones SQL
- Opciones de Entrada/Salida
- Catálogo
- Introducción de las tablas de Spark SQL
- Creación de tablas
- Creación de tablas externas
- Inserción de datos en tablas
- Metadatos de tablas
- Borrado de tablas
- Cacheado de tablas
- Introducción a las vistas de Spark SQL
- Creación de vistas
- Borrado de vistas
- Introducción a las bases de datos de Spark SQL
- Creación de bases de datos
- Configuración de bases de datos
- Borrado de bases de datos
- Selects con "case", "when" y "then"
- Funciones
- Tipos complejos
- Subqueries
- Configuraciones generales
- Establecimiento de valores de configuración en SQL
tema 10
DataSets
- ¿Cuándo debemos usar Datasets?
- Creación de DataSets
- Acciones
- Transformaciones, filtrado y mapeo
- Joins de DataSets
- Agrupaciones y agregaciones
tema 11
Resilient Distributed DataSets (RDDs)
- Introducción a los RDD en Spark
- Tipos de RDDs
- ¿Cuándo es conveniente usar RDDs?
- Ventajas de DataFrames vs RDD
- Creación de un RDD
- Interoperabilidad entre RDDs, DataSets y DataFrames
- Creación de un RDD a partir de una colección local
- Creación de un RDD de distintos orígenes
- Manipulación de RDDs
- Transformaciones
- Acciones
- Guardado en archivos de texto
- Guardado en archivos Hadoop
- Otros tipos de guardado
- Cacheo de RDDs
- Establecimiento de puntos de control
- RDDs numérico
tema 12
RDD Clave-Valor
- Introducción a los RDD Clave-Valor en Spark
- Creación de RDD Clave-Valor
- Introducción a las bases del uso de Clave-Valor
- Filter
- MapValue
- Reduce By Key
- Group By Key
- Sort By Key
- CoGrupos
- Control de particionamiento de datos
- Operaciones Join
- Serialización personalizada
tema 13
GraphX (Solo con Scala)
- Operadores GraphX
- Usos reales de GraphX
- Configuración y puesta en Marcha
- Algoritmos de GraphX
- Pregel API
- GraphX builders
- VertexRDD
- EdgeRDD
- Buenas Prácticas
tema 14
Variables compartidas distribuidas
- Transmisión de variables
- Acumuladores
- Acumuladores personalizados
tema 15
Ejecuciones de Spark en un Cluster
- Modos de ejecución
- Introducción al ciclo de vida de una aplicación Spark desde fuera
- Fase de petición de cliente
- Fases de iniciación y ejecución
- Fase de terminación
- Introducción al ciclo de vida de una aplicación Spark desde dentro de Spark
- La sesión de Spark
- Las instrucciones lógicas
- La Job de Spark
- Las fases
- Tareas
- Detalles de ejecución
tema 16
Despliegue de aplicaciones Spark
- Estructura de los proyectos
- SBT (Solo con Scala)
- ¿Dónde se pueden desplegar las aplicaciones de Spark?
- Spark-Submit
- On-premise Clusters vs Cloud
- Empaquetado de aplicaciones
- Introducción a los cluster managers
- Modo Standalone
- Spark con Yarn
- Configuración de Spark con aplicaciones Yarn
- Spark con Mesos
- Configuraciones para desarrollo seguro
- Configuraciones para redes de clusters
- Estrategias de replicación
- Recomendaciones
- Creación de un cluster
- Lanzamiento de trabajos
- Monitorización de clusters
- Particionamiento
- Buenas prácticas
tema 17
Monitorización
- Monitorización de Spark jobs
- Interfaz Web de Spark
- Jobs
- Stages
- Almacenamiento
- SQL
- Visualizando aplicaciones de Spark con Interfaces web
- Los logs en las aplicaciones de Spark
- log4j en Spark
tema 18
Mejoras del rendimiento
- Técnicas de optimización
- Uso y gestión de la memoria
- Almacenamiento de datos en caché de memoria
- Sugerencias combinadas para consultas SQL
- Ejecución de consultas adaptables
tema 19
Testing y debugging
- Entorno distribuido
- Pruebas en un entorno distribuido
- Problemas de un entorno distribuido
- Testing en aplicaciones Spark
- Tipos de test
- Métodos de test en Spark
- Debugging en aplicaciones Spark
tema 20
Introducción al Machine Learning con Spark
- Introducción a MLlib
- Fundamentos de MLlib
- Estimadores
- Entrenamiento y evaluación
- Persistencia y aplicación de modelos
- Creación de un sistema de MLlib
- Regresión Lineal con MLlib
- Árboles de decisión
- Bosques aleatorios
- Dataframes con MLlib
- Métricas
tema 21
Detección de problemas
- Planes de ejecución
- Detectando un Shuffle en un procesamiento
- Probando operaciones que puedan causar un Shuffle
- Cambiando el diseño de trabajos con dependencias amplias
- Usando operaciones keyBy para reducir los Shuffle
- Usando particionadores personalizados
tema 22
Performance Tuning
- Serialización de objetos en RDD
- Configuraciones de Clusters
- Elección de diseño
- Programación
- "Shuffle" de configuraciones
- Recolector de basura
- Gestión de la memoria
- Paralelismo
- Mejoras en el filtrado
- Repartición
- Funciones definidas por el usuario
- Cacheo de datos de forma temporal
- Uniones
- Agregaciones
- Transmisión de variables
tema 23
Buenas prácticas y especificaciones de lenguajes
- Recomendaciones de programación paralela
- Inmutabilidad
- Uso de lambdas
- Bucles
- Uso de funciones dentro de Dataframes
- Especificaciones y diferencias de PySpark (Solo con Python)
- Integración con Pandas (Solo con Python)
- Especificaciones y diferencias de R con Spark
Preguntas Frecuentes de Spark
¿Cuáles son los beneficios del curso Spark?
El curso de Spark proporciona una formación integral en procesamiento de grandes volúmenes de datos, permitiendo a los empleados de tu empresa optimizar procesos y mejorar la eficiencia en la gestión de datos. Los beneficios incluyen un conocimiento profundo en el uso de Apache Spark, una herramienta clave en Big Data, así como habilidades prácticas para implementar soluciones de datos robustas y escalables.
¿El curso de Spark se puede bonificar a través de FUNDAE?
Sí, el curso de Spark se puede bonificar a través de la Fundación Estatal para la Formación en el Empleo (FUNDAE). Esto permite que las empresas recuperen parte del coste del curso mediante los créditos de formación continua disponibles.
¿En qué modalidades se imparte el curso de Spark?
El curso de Spark se imparte en dos modalidades: modalidad online y aula virtual personalizada. Esto proporciona flexibilidad para que las empresas puedan elegir la opción que mejor se adapte a las necesidades y disponibilidad de sus empleados.
¿Qué habilidades desarrollaré con el curso de Spark?
Con el curso de Spark, desarrollarás habilidades clave en el procesamiento de datos a gran escala utilizando Apache Spark. Entre las habilidades adquiridas se incluyen la capacidad de manejar grandes volúmenes de datos, realizar análisis complejos, desarrollar algoritmos de Machine Learning y optimizar el rendimiento de los datos en tiempo real.
¿Cómo puedo inscribirme en el curso de Spark?
Para inscribirte en el curso de Spark, debes rellenar los formularios que aparecen en la página web de Imagina Formación. Una vez completado el formulario, nuestro equipo se pondrá en contacto contigo para finalizar el proceso de inscripción.