Envíanos tu consulta
Términos y condiciones *
logoImagina
Catálogo 2025
Cursos¡Últimas plazas!ServiciosFUNDAETutorialesPlataforma LMS
Solicitar información
Formación
Modalidades
Próximas Convocatorias
Temario
FAQ
Solicitar información
Cursos de Data/Cursos de Big Data/Curso Scrapy
iconoCurso

Curso de Scrapy

DISPONIBLE EN MODALIDAD:
aMedidaIcon
Aula Virtual Personalizada
arrowRightDark

Aprende a utilizar Scrapy, el potente framework de Python para web scraping. Domina la extracción de datos de sitios web, gestión de solicitudes y almacenamiento eficiente con técnicas avanzadas y prácticas reales.

iconClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClienticonClient

Formación en Scrapy bonificable para empresas

A quién va dirigido nuestro curso de Scrapy

Desarrolladores web, analistas de datos que necesitan obtener información de fuentes web. Profesionales de marketing e investigación de mercado. Emprendedores que desean automatizar la recopilación de datos.

Objetivos de nuestro curso de Scrapy

  • Comprender los fundamentos de Scrapy y su arquitectura. Configurar un entorno de desarrollo para web scraping eficiente.
  • Implementar spiders avanzados para la extracción de datos estructurados.
  • Integrar Scrapy con bases de datos y herramientas de análisis.
  • Aplicar técnicas de manejo de sesiones, cookies y autenticación.
  • Optimizar el rendimiento del scraping con middleware y concurrencia.

Qué vas a aprender en nuestro curso de Scrapy

Aprende a utilizar Scrapy, el potente framework de Python para web scraping. Domina la extracción de datos de sitios web, gestión de solicitudes y almacenamiento eficiente con técnicas avanzadas y prácticas reales.

Requisitos de nuestro curso de Scrapy

  • Conocimientos de Python y Familiaridad con HTML y CSS.
  • Instalación de Python 3.7+ en el equipo
  • Equipo con mínimo 8GB RAM, 2GHz CPU y 10GB espacio libre.
  • Acceso a internet para prácticas en sitios web en vivo.

Temario del curso de Scrapy

tema 1

Introducción a Scrapy

  • ¿Qué es Scrapy y para qué se utiliza?
  • Comparación con otras herramientas de web scraping.
  • Instalación y configuración del entorno.
  • Arquitectura y flujo de trabajo de Scrapy.
  • Componentes principales: Spiders, Pipelines, Middlewares.
  • Estructura de un proyecto de Scrapy.
  • Exploración de documentación oficial.
  • Configuración inicial en entornos de desarrollo.
  • Práctica: creación de un primer proyecto.
  • Resolución de problemas comunes de instalación.
iconArrowDown
tema 2

Creación de Spiders Básicos

  • Introducción a los spiders en Scrapy.
  • Configuración de reglas de rastreo.
  • Creación de un spider simple con Scrapy.
  • Definición de restricciones y reglas de crawling.
  • Extracción de contenido con Selectors y XPath.
  • Almacenamiento de datos en JSON y CSV.
  • Control de la profundidad de rastreo.
  • Pruebas y ejecución de spiders básicos.
  • Manejo de errores comunes en spiders iniciales.
  • Práctica: scraping de una web de noticias.
iconArrowDown
tema 3

Scrapy Shell: Depuración y Pruebas

  • Introducción a Scrapy Shell.
  • Extracción de datos con CSS Selectors.
  • Uso de XPath para navegación de páginas.
  • Pruebas de peticiones HTTP con Scrapy Shell.
  • Depuración de errores en consultas.
  • Análisis de estructuras web complejas.
  • Manipulación de datos extraídos.
  • Consejos para optimizar Scrapy Shell.
  • Práctica: extracción de elementos de Amazon.
  • Caso práctico: inspección de estructuras web.
iconArrowDown
tema 4

Extracción de Datos con Selectors

  • Diferencias entre CSS y XPath selectors.
  • Selección de elementos web eficientemente.
  • Captura de múltiples elementos en una página.
  • Manipulación de nodos y atributos.
  • Extracción de datos dinámicos en Scrapy.
  • Implementación de scraping recursivo.
  • Almacenamiento de datos en diferentes formatos.
  • Tratamiento de errores de extracción.
  • Optimización de queries para rendimiento.
  • Práctica: scraping de una página de productos.
iconArrowDown
tema 5

Manejo de Peticiones HTTP en Scrapy

  • Introducción a las peticiones HTTP en Scrapy.
  • Uso de los métodos GET y POST.
  • Manejo de cookies y sesiones en solicitudes.
  • Configuración de cabeceras HTTP personalizadas.
  • Retrasos y tiempos de espera en peticiones.
  • Manejo de redirecciones automáticas.
  • Control de errores de conexión.
  • Configuración de proxies para anonimato.
  • Práctica: extracción de datos desde formularios.
  • Caso de estudio: scraping de APIs REST.
iconArrowDown
tema 6

Gestión de Middleware

  • ¿Qué son los middlewares en Scrapy?
  • Tipos de middleware en Scrapy.
  • Uso de middleware de descarga.
  • Implementación de middleware personalizados.
  • Control de User Agents dinámicos.
  • Manejo de CAPTCHA con middleware.
  • Reducción de bloqueos con rotación de IPs.
  • Configuración avanzada de middleware.
  • Práctica: bypass de restricciones de acceso.
  • Evaluación del impacto del middleware en el rendimiento.
iconArrowDown
tema 7

Gestión de Datos en Scrapy

  • Introducción a los Item Pipelines.
  • Limpieza y procesamiento de datos.
  • Exportación de datos a CSV, JSON y XML.
  • Almacenamiento en bases de datos SQL y NoSQL.
  • Normalización de datos extraídos.
  • Aplicación de filtros a los datos obtenidos.
  • Uso de scrapy.contrib.pipeline para optimización.
  • Práctica: almacenamiento en PostgreSQL.
  • Integración con Elasticsearch.
  • Mejores prácticas para la gestión de datos.
iconArrowDown
tema 8

Manejo de Sitios Dinámicos con Scrapy y Selenium

  • Diferencias entre Scrapy y Selenium.
  • Integración de Scrapy con Selenium.
  • Automatización de la navegación web.
  • Extracción de contenido dinámico con JavaScript.
  • Captura de pantallas y manipulación de eventos.
  • Configuración de WebDriver para Selenium.
  • Resolución de problemas de compatibilidad.
  • Práctica: scraping de contenido de JavaScript.
  • Comparación de rendimiento entre técnicas.
  • Casos de uso prácticos de Selenium en Scrapy.
iconArrowDown
tema 9

Optimización del Scraping

  • Técnicas de optimización de scraping.
  • Implementación de crawling concurrente.
  • Limitación de recursos para evitar bloqueos.
  • Uso eficiente del caché en Scrapy.
  • Manejo de grandes volúmenes de datos.
  • Balanceo de carga con múltiples spiders.
  • Evitar bloqueos por parte de servidores.
  • Análisis de logs para depuración de rendimiento.
  • Configuración de parallelism en Scrapy.
  • Caso práctico: scraping a gran escala.
iconArrowDown
tema 10

Despliegue de Proyectos de Scrapy

  • Preparación del entorno de producción.
  • Despliegue en servidores en la nube.
  • Automatización de ejecuciones con cron jobs.
  • Monitoreo de spiders en producción.
  • Gestión de errores en tiempo de ejecución.
  • Implementación de alertas automáticas.
  • Integración con plataformas de datos.
  • Control de versiones y mantenimiento.
  • Caso práctico: despliegue en AWS.
  • Estrategias para escalar scraping en la nube.
iconArrowDown
tema 11

Seguridad y Protección en Scrapy

  • Prevención de bloqueos y bans.
  • Gestión de IPs rotativas con proxies.
  • Manejo de CAPTCHAs y técnicas de evasión.
  • Respeto de políticas de robots.txt.
  • Implementación de delays y tiempo de espera.
  • Configuración de encabezados HTTP.
  • Identificación y manejo de honeypots.
  • Estrategias de anonimización.
  • Monitoreo de solicitudes bloqueadas.
  • Caso práctico: scraping ético y seguro.
iconArrowDown
tema 12

Scraping de Datos en Profundidad

  • Crawling de múltiples niveles de profundidad.
  • Identificación y scraping de enlaces internos.
  • Control de crawling con reglas específicas.
  • Limitaciones de profundidad y ancho del scraping.
  • Implementación de estrategias de descubrimiento de enlaces.
  • Extracción de datos de páginas relacionadas.
  • Optimización del proceso de crawling.
  • Almacenamiento de relaciones de datos.
  • Evaluación de impacto del scraping profundo.
  • Práctica: scraping de sitios con múltiples categorías.
iconArrowDown
tema 13

Scraping de APIs con Scrapy

  • Diferencias entre scraping web y APIs.
  • Consumo de endpoints RESTful y GraphQL.
  • Autenticación con tokens API.
  • Paginación y recuperación de grandes volúmenes de datos.
  • Análisis de respuestas JSON y XML.
  • Extracción de datos anidados en APIs.
  • Prácticas recomendadas para scraping de APIs.
  • Monitoreo de límites de API.
  • Prueba de rendimiento en scraping de APIs.
  • Práctica: extracción de datos de una API pública.
iconArrowDown
tema 14

Integración de Scrapy con Big Data

  • Introducción a Big Data en web scraping.
  • Almacenamiento en Hadoop y Spark.
  • Integración con bases de datos NoSQL (MongoDB, Cassandra).
  • Procesamiento distribuido de datos scraped.
  • Manejo de grandes volúmenes de datos en Scrapy.
  • Optimización de consultas para análisis.
  • Uso de herramientas de análisis de datos con Scrapy.
  • Migración de datos a sistemas de análisis.
  • Práctica: integración con Apache Spark.
  • Caso de uso: scraping de datos para analítica empresarial.
iconArrowDown
tema 15

Técnicas de Monitoreo y Mantenimiento

  • Implementación de logging y seguimiento de spiders.
  • Identificación de problemas recurrentes.
  • Programación de mantenimientos automatizados.
  • Actualización de spiders con cambios en el sitio web.
  • Análisis de rendimiento con herramientas de monitoreo.
  • Gestión de excepciones en tiempo de ejecución.
  • Estrategias de escalabilidad en Scrapy.
  • Implementación de métricas clave de rendimiento.
  • Auditoría de calidad de los datos extraídos.
  • Práctica: creación de reportes automatizados.
iconArrowDown
tema 16

Integración de Scrapy con Docker

  • Introducción a contenedores Docker.
  • Creación de imágenes Docker para Scrapy.
  • Configuración de entornos portátiles de scraping.
  • Despliegue de spiders en contenedores.
  • Automatización de tareas con Docker Compose.
  • Gestión de múltiples spiders en entornos distribuidos.
  • Escalabilidad mediante contenedores.
  • Seguridad en entornos Dockerizados.
  • Optimización de rendimiento en contenedores.
  • Práctica: despliegue de Scrapy con Docker.
iconArrowDown
tema 17

Pruebas Automatizadas en Scrapy

  • Importancia de las pruebas en web scraping.
  • Configuración de entornos de testing.
  • Unit testing para spiders y middlewares.
  • Validación de datos extraídos.
  • Simulación de respuestas web para pruebas.
  • Herramientas de testing compatibles con Scrapy.
  • Pruebas de rendimiento de spiders.
  • Resolución de problemas detectados en pruebas.
  • Mejores prácticas para testing en Scrapy.
  • Práctica: implementación de pruebas automáticas.
iconArrowDown
tema 18

Gestión de Equipos y Proyectos Scrapy

  • Organización de proyectos de scraping en equipo.
  • Uso de control de versiones en proyectos Scrapy.
  • Asignación de tareas y responsabilidades.
  • Documentación de proyectos de scraping.
  • Integración de Scrapy en metodologías ágiles.
  • Herramientas de gestión de proyectos.
  • Colaboración eficiente con equipos remotos.
  • Control de calidad en equipos de scraping.
  • Implementación de flujos de trabajo colaborativos.
  • Práctica: gestión de un proyecto de scraping en equipo.
iconArrowDown
tema 19

Aplicaciones Avanzadas de Scrapy

  • Scraping de múltiples sitios simultáneamente.
  • Extracción de contenido multimedia (imágenes, videos).
  • Aplicación de NLP en datos scraped.
  • Generación de informes automáticos.
  • Personalización de spiders para escenarios específicos.
  • Scraping en tiempo real para mercados financieros.
  • Análisis de sentimientos con Scrapy.
  • Integración de Scrapy con IA y ML.
  • Optimización de spiders con machine learning.
  • Práctica: proyecto avanzado con múltiples aplicaciones.
iconArrowDown
tema 20

Proyecto Final: Desarrollo de un Sistema de Scraping Completo

  • Definición de objetivos del proyecto.
  • Selección de fuentes de datos y planificación.
  • Desarrollo de spiders personalizados.
  • Implementación de almacenamiento de datos.
  • Automatización del flujo de scraping.
  • Integración con herramientas de análisis de datos.
  • Documentación del proyecto completo.
  • Pruebas y optimización del rendimiento.
  • Despliegue del sistema en producción.
iconArrowDown