Envíanos tu consulta
Términos y condiciones *
logoImagina
Catálogo 2024-25
Cursos¡Últimas plazas!ServiciosFUNDAETutorialesPlataforma LMS
Solicitar información
Formación
Modalidades
Próximas Convocatorias
Temario
FAQ
Solicitar información
Cursos de Data/Cursos de Big Data/Curso Apache Parquet
iconoCurso

Curso de Apache Parquet

DISPONIBLE EN MODALIDAD:
aMedidaIcon
Aula Virtual Personalizada
arrowRightDark

Este curso te proporcionará una comprensión profunda de Apache Parquet, el formato de columna más utilizado para almacenar datos en entornos Big Data. Aprenderás a optimizar la estructura de tus datos, mejorar el rendimiento de las consultas, y seleccionar las configuraciones óptimas para diferentes escenarios.

iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient

Formación en Apache Parquet bonificable para empresas

A quién va dirigido nuestro curso de Apache Parquet

Ingenieros de datos, científicos de datos, analistas de datos y desarrolladores que trabajan con grandes volúmenes de datos y buscan optimizar el rendimiento de sus aplicaciones.

Objetivos de nuestro curso de Apache Parquet

  • Comprender a fondo los fundamentos y la arquitectura de Apache Parquet.
  • Dominar las técnicas de optimización de datos para mejorar el rendimiento de las consultas en entornos Big Data.
  • Implementar soluciones de almacenamiento y procesamiento de datos basadas en Parquet en diversos frameworks y herramientas.
  • Evaluar y seleccionar las configuraciones óptimas de Parquet para diferentes escenarios de uso.
  • Desarrollar habilidades para solucionar problemas y depurar aplicaciones que utilizan Parquet.

Qué vas a aprender en nuestro curso de Apache Parquet

Este curso te proporcionará una comprensión profunda de Apache Parquet, el formato de columna más utilizado para almacenar datos en entornos Big Data. Aprenderás a optimizar la estructura de tus datos, mejorar el rendimiento de las consultas, y seleccionar las configuraciones óptimas para diferentes escenarios.

Requisitos de nuestro curso de Apache Parquet

  • Conocimientos previos: SQL, fundamentos de bases de datos, conceptos básicos de Big Data, experiencia en al menos un lenguaje de programación (Python, Java, Scala).
  • Instalaciones Previas: Visual Studio Code, Python (v3 o superior, con posibilidad de instalar con Pip librerías como pandas, pyarrow), Java (con librerías como parquet-mr, parquet-hadoop) y Scala (con librerías como parquet-avro), Hadoop y Spark para realizar prácticas y ejercicios con grandes volúmenes de datos.
  • Requisitos mínimos del equipo a emplear: procesador Intel Core i5 o superior, Mínimo de 16 GB de RAM, 50GB de espacio libre en memoria y almacenamiento SSD.

Temario del curso de Apache Parquet

tema 1

Introducción a Apache Parquet

  • ¿Qué es Apache Parquet?
  • Comparación con otros formatos de datos (CSV, JSON, ORC)
  • Ventajas y desventajas de Parquet
  • Casos de uso típicos
  • Arquitectura y componentes de Parquet
  • Esquema de Parquet
  • Compresión y codificación
  • Paginación y agrupación de filas
  • Predicado pushdown
  • Integración con otras herramientas (Hive, Spark, Presto)
iconArrowDown
tema 2

Instalación y Configuración

  • Entornos de desarrollo (Python, Java, Scala)
  • Instalación de librerías y dependencias
  • Configuración de Hadoop o Spark
  • Creación de un proyecto de ejemplo
  • Lectura y escritura de archivos Parquet
  • Esquemas personalizados
  • Partición de datos
  • Creación de tablas externas
  • Integración con herramientas de orquestación (Airflow, Luigi)
iconArrowDown
tema 3

Optimización de datos en Parquet

  • Diseño de esquemas eficientes
  • Selección de tipos de datos
  • Ordenación de columnas
  • Compresión de datos
  • Paginación y agrupación de filas
  • Predicado pushdown
  • Evitar la anomalía de la columna pequeña
  • Prácticas recomendadas para la optimización
  • Técnicas de profiling de datos
  • Herramientas de análisis de rendimiento
iconArrowDown
tema 4

Consultas y procesamiento de datos

  • Consultas SQL en Parquet
  • Procesamiento de datos con Spark
  • Optimización de consultas en Spark
  • Integración con otras herramientas de análisis (Tableau, Power BI)
  • Visualización de datos
  • Ventanas temporales y análisis de series de tiempo
  • Unión de datos de múltiples fuentes
  • Agrupación y agregación de datos
  • Cálculos complejos y funciones de ventana
iconArrowDown
tema 5

Casos de uso avanzados

  • Parquet para análisis de tiempo de series
  • Parquet para machine learning (feature engineering, entrenamiento de modelos)
  • Parquet para almacenamiento de datos ge espaciales
  • Parquet en entornos de streaming (Kafka, Flink)
  • Parquet en la nube (AWS, GCP, Azure)
  • Parquet y data lakes
  • Parquet para análisis de logs y eventos
  • Parquet para análisis de redes sociales
iconArrowDown
tema 6

Diseño de pipelines de datos con Parquet

  • Diseño de pipelines de ETL
  • Integración con herramientas de ETL (Apache NiFi, Talend)
  • Optimización de pipelines
  • Monitoreo y mantenimiento de pipelines
  • Escalabilidad de pipelines
  • Gestión de errores y excepciones
  • Pruebas unitarias e integración
iconArrowDown
tema 7

Seguridad y gobernanza de datos en Parquet

  • Seguridad de los datos en Parquet
  • Control de acceso (ACLs, RBAC)
  • Encriptación de datos en reposo y en tránsito
  • Gestión de metadatos
  • Auditoría de accesos y modificaciones
  • Cumplimiento normativo (GDPR, CCPA)
  • Protección contra amenazas comunes
iconArrowDown
tema 8

Tendencias y futuro de Parquet

  • Evolución del formato Parquet
  • Nuevas características y mejoras
  • Integración con otras tecnologías emergentes (Delta Lake, Iceberg)
  • Parquet en entornos cloud nativos
  • Parquet y machine learning
  • Parquet y gráficos de conocimiento
iconArrowDown
tema 9

Herramientas y mejores prácticas

  • Herramientas para trabajar con Parquet (parquet-tools, parquet-viewer)
  • Herramientas de visualización (Tableau, Power BI, Grafana)
  • Mejores prácticas para el desarrollo con Parquet
  • Resolución de problemas comunes
  • Debugging de aplicaciones Parquet
  • Optimización del rendimiento de las consultas
  • Tuning de parámetros
iconArrowDown
tema 10

Proyectos prácticos con Parquet

  • Creación de un data warehouse con Parquet
  • Desarrollo de una aplicación de análisis de logs
  • Implementación de un sistema de recomendación basado en Parquet
  • Construcción de un dashboard interactivo
  • Análisis de sentimiento en redes sociales
  • Detección de fraudes en transacciones financieras
iconArrowDown
tema 11

Casos de estudio reales

  • Análisis de casos de éxito de empresas que utilizan Parquet
  • Lecciones aprendidas y mejores prácticas
  • Comparativa de Parquet con otros formatos
  • Estudios de rendimiento y escalabilidad
iconArrowDown
tema 12

Comunidad y recursos

  • Comunidad de Apache Parquet
  • Foros y grupos de discusión
  • Blogs y artículos relevantes
  • Contribución al proyecto Parquet
  • Eventos y conferencias
iconArrowDown
tema 13

Proyecto final

  • Desarrollo de un proyecto integrador
  • Selección de un caso de uso real
  • Diseño de la solución
  • Implementación y pruebas
  • Presentación y defensa del proyecto
iconArrowDown