Curso de Apache Kafka para equipos de datos — Integración y calidad

Arquitectura KRaft.

Sustitución definitiva de ZooKeeper.

Metadata log.

Metadata quorum.

Active Controller.

Standby Controllers.

Brokers.

Diferenciación entre broker y controller.

Propiedad `process.roles`.

Rol `broker`.

Rol `controller`.

Combined Mode.

Combined Mode para desarrollo y laboratorios.

Separación de brokers y controllers en entornos críticos.

Quorum de controllers.

Tolerancia a fallos.

Mayoría necesaria para mantener disponibilidad.

Tres controllers para tolerar un fallo.

Cinco controllers para tolerar dos fallos.

Dynamic Controller Quorum.

`controller.quorum.bootstrap.servers`.

`kraft.version`.

Metadata Version.

Cluster ID.

`kafka-storage.sh random-uuid`.

Formateo de storage.

`kafka-storage.sh format`.

`meta.properties`.

Directorio de metadata.

Directorios de logs de brokers.

Listeners.

`advertised.listeners`.

Controller listener.

Inter-broker listener.

Configuración de puertos.

Inicio y parada ordenada.

Configuración de varios brokers.

Verificación del cluster.

`kafka-metadata-quorum.sh`.

Inspección del estado del quorum.

Incorporación dinámica de controllers.

Retirada controlada de controllers.

Kafka recomienda separar broker y controller en producción y utilizar al menos tres controllers para tolerancia a fallos.

ZooKeeper solo resulta relevante para comprender clusters heredados y su migración mediante Kafka 3.9 como última bridge release.

Java 17, 21 y 25 soportados completamente por Kafka 4.3.

Java 25 como LTS recomendada actualmente por el proyecto Kafka.

Page cache.

Importancia del throughput de disco.

Memoria disponible para lectores y escritores.

CPU.

Red.

Capacidad de almacenamiento.

Latencia del almacenamiento.

Número de particiones.

Replication Factor.

Retención.

Throughput de entrada.

Throughput de salida.

Separación de filesystem de datos y sistema operativo.

Linux como plataforma preferente para servidores Kafka.

Anatomía de un record Kafka.

Key.

Value.

Headers.

Timestamp.

Offset.

Serialización.

Topics.

Naming conventions.

Particiones.

Orden dentro de una partición.

Ausencia de orden global entre particiones.

Key como mecanismo de afinidad.

Partitioner.

Distribución de eventos.

Paralelismo.

Elección del número de particiones.

Impacto del número de particiones sobre consumidores.

Impacto sobre brokers.

Aumento de particiones.

Limitaciones de reducir particiones.

Leader replica.

Follower replicas.

Replication Factor.

In-Sync Replicas.

ISR.

High Watermark.

Log End Offset.

Segmentos de log.

Índices.

Ficheros físicos.

Page cache.

Retención temporal.

`retention.ms`.

Retención por tamaño.

`retention.bytes`.

Segment rolling.

`segment.bytes`.

Política `delete`.

Política `compact`.

Log Compaction.

Keys y tombstones.

Eliminación lógica mediante tombstone.

Topics compactados.

Casos adecuados para compactación.

Combinación `compact,delete`.

Topics internos.

`__consumer_offsets`.

Topics internos de Kafka Connect.

Changelog topics de Kafka Streams.

Reassignment de replicas.

Storage entre múltiples log directories.

Cordonado de log directories incorporado en Kafka 4.3.

`cordoned.log.dirs` para impedir nuevas asignaciones sobre almacenamiento que se quiere retirar.

Tiered Storage.

Tier local.

Tier remoto.

Retención local independiente.

Segmentos históricos remotos.

`remote.log.storage.system.enable`.

RemoteStorageManager.

RemoteLogMetadataManager.

Utilización de almacenamiento remoto para ampliar retención sin mantener todos los segmentos en discos de broker.

Apache Kafka no proporciona actualmente una implementación RemoteStorageManager de producción lista para utilizar.

Limitación actual de Tiered Storage sobre topics compactados.

Follower fetch desde tiered offset incorporado en Kafka 4.3.

Métricas de porcentaje de utilización de retención por partición incorporadas en Kafka 4.3.

Función de un Producer.

Ciclo de envío de un record.

Bootstrap servers.

Descubrimiento de metadata.

`client.id`.

`key.serializer`.

`value.serializer`.

Serializadores estándar.

Serializadores personalizados.

Headers.

Selección de partición.

Key-based partitioning.

Envíos sin key.

Custom Partitioner cuando resulte necesario.

RecordAccumulator.

Batching.

`batch.size`.

`linger.ms`.

`buffer.memory`.

Compresión.

`compression.type`.

`gzip`.

`snappy`.

`lz4`.

`zstd`.

Compresión por batch.

Impacto de compresión en CPU y red.

`acks`.

`acks=0`.

`acks=1`.

`acks=all`.

`delivery.timeout.ms`.

`request.timeout.ms`.

`max.block.ms`.

`max.request.size`.

`send.buffer.bytes`.

`receive.buffer.bytes`.

`max.in.flight.requests.per.connection`.

Retries.

Backoff.

Retries automáticos.

Errores recuperables.

Errores no recuperables.

Envío síncrono.

Envío asíncrono.

Futures.

Callbacks.

Manejo de errores.

Interceptors.

Producer metrics.

Throughput frente a latencia.

Optimización para mensajes pequeños.

Optimización para batches grandes.

Riesgos de mensajes excesivamente grandes.

Quotas aplicadas a productores.

Idempotent Producer.

`enable.idempotence`.

Producer ID.

Sequence numbers.

Prevención de duplicados producidos por retries.

Transactional Producer como extensión para operaciones atómicas.

Diseño de productores resilientes ante reinicios y fallos de red.

Función de un Consumer.

`KafkaConsumer`.

Bootstrap.

Deserialización.

`key.deserializer`.

`value.deserializer`.

Suscripción a topics.

Suscripción mediante patrón.

Asignación manual de particiones.

`poll()`.

Fetch requests.

`fetch.min.bytes`.

`fetch.max.bytes`.

`max.partition.fetch.bytes`.

`fetch.max.wait.ms`.

`max.poll.records`.

`max.poll.interval.ms`.

Consumer Groups.

`group.id`.

Una partición asignada como máximo a un consumidor del mismo grupo en el modelo tradicional.

Escalabilidad horizontal mediante Consumer Groups.

Group Coordinator.

Group membership.

Rebalancing.

Classic Consumer Group Protocol.

Nuevo Consumer Rebalance Protocol.

Protocolo basado en KIP-848.

Coordinación de asignaciones en broker.

Rebalances incrementales.

Eliminación de la barrera global de sincronización.

Nuevo protocolo disponible para producción desde Kafka 4.0.

`group.protocol=consumer`.

Migración online desde Classic.

Migración offline.

Compatibilidad durante transición.

Deprecación progresiva del protocolo Classic iniciada en Kafka 4.3.

Offsets.

Committed offset.

Current position.

`auto.offset.reset`.

`earliest`.

`latest`.

Commits automáticos.

`enable.auto.commit`.

Commits síncronos.

Commits asíncronos.

Commit de offsets específicos.

`seek()`.

Lectura desde un offset específico.

Reprocesamiento.

Reset de offsets.

Static Membership.

`group.instance.id`.

Consumer Lag.

Procesamiento lento.

Backpressure.

Graceful shutdown.

RebalanceListener.

Share Groups.

Kafka Queues.

Share Consumer.

Procesamiento estilo queue donde varios consumidores pueden procesar registros de una misma partición.

Acknowledgements de registros.

Redelivery.

Share Groups declarados production-ready desde Kafka 4.2.

Controles adicionales de Share Groups incorporados en Kafka 4.3.

Diferencias entre Consumer Groups y Share Groups.

Selección del modelo según orden, paralelismo y semántica de procesamiento.

Qué significa entrega confiable en Kafka.

At-most-once.

At-least-once.

Exactly-once.

Diferencia entre entrega y procesamiento.

Replication Factor.

ISR.

Leader.

Followers.

Replication lag.

High Watermark.

`min.insync.replicas`.

Relación entre `acks=all` y `min.insync.replicas`.

Disponibilidad frente a durabilidad.

Unclean Leader Election.

Riesgo de pérdida de datos.

Leader Election.

Preferred Leader.

Eligible Leader Replicas.

Rack awareness.

Distribución de replicas.

Fallo de broker.

Recuperación de follower.

Productor idempotente.

Sequence numbers.

Retries sin duplicados.

Transactions.

`transactional.id`.

`initTransactions`.

`beginTransaction`.

`commitTransaction`.

`abortTransaction`.

Atomicidad entre varias particiones.

Escritura de offsets dentro de una transacción.

`sendOffsetsToTransaction`.

`isolation.level`.

`read_committed`.

`read_uncommitted`.

Exactly-Once Semantics.

Relación entre productores transaccionales y consumidores.

Kafka Streams `exactly_once_v2`.

Idempotencia a nivel de negocio.

Procesamientos externos no cubiertos automáticamente por transacciones Kafka.

Duplicados en bases de datos externas.

Idempotency keys.

Outbox Pattern.

Transactional Outbox.

Change Data Capture.

Inbox Pattern.

Poison messages.

Dead Letter Topics.

Reprocesamiento.

Consistencia eventual.

Diseño de una estrategia de entrega según criticidad y coste.

Monitorización de ISR y replicas fuera de sincronización.

Validación de configuración antes de considerar un cluster realmente tolerante a fallos.

AdminClient.

Ciclo de vida del AdminClient.

Bootstrap.

Seguridad.

Timeouts.

Inspección de metadata.

Listado de brokers.

Controller activo.

Descripción de cluster.

Creación de topics.

Eliminación de topics.

Descripción de topics.

Modificación de configuraciones.

Incremento de particiones.

Configuraciones dinámicas.

Descripción de Consumer Groups.

Listado de miembros.

Offsets de grupos.

Reset de offsets.

Eliminación de Consumer Groups.

Inspección de Share Groups.

Election de leaders.

Preferred Leader Election.

Reassignment de replicas.

Movimiento entre brokers.

Movimiento entre log directories.

Cordonado previo a retirada de almacenamiento.

Decommission de brokers.

Incorporación de brokers.

Escalado horizontal.

Metadata quorum.

`kafka-metadata-quorum.sh`.

Incorporación de controllers.

Retirada de controllers.

`kafka-features.sh`.

Feature Levels.

Metadata Version.

Dynamic KRaft Quorum.

`kafka-topics.sh`.

`kafka-configs.sh`.

`kafka-consumer-groups.sh`.

`kafka-delete-records.sh`.

`kafka-reassign-partitions.sh`.

`kafka-leader-election.sh`.

Quotas.

Producer byte rate.

Consumer byte rate.

Request percentage.

Quotas por usuario.

Quotas por cliente.

Quotas combinadas.

Multi-tenancy.

Prevención de noisy neighbors.

Naming y ownership de topics.

Políticas de creación.

Retention governance.

Particiones como recurso limitado.

Capacidad del cluster.

Gestión de cambios.

Automatización administrativa mediante Admin API.

Diferenciación entre administración declarativa y operaciones excepcionales.

¿Qué es Kafka Connect?

Casos de uso.

Integración sin desarrollar productores o consumidores específicos.

Source Connector.

Sink Connector.

Connector.

Task.

Worker.

Standalone Mode.

Distributed Mode.

Worker Group.

Escalabilidad horizontal.

REST API.

Configuración de connectors.

Plugins.

Plugin discovery.

Interface `ConnectPlugin` incorporada en Kafka 4.3 para mejorar descubrimiento de componentes.

Source records.

Sink records.

Offsets de Source Connectors.

Consumer Groups de Sink Connectors.

Internal config topic.

Internal offsets topic.

Internal status topic.

Replication Factor de topics internos.

Converters.

JSON.

Avro mediante componentes externos.

Protobuf mediante componentes externos.

Schemas.

Schema-less.

Single Message Transformations.

SMT.

Filter.

InsertField.

ReplaceField.

RegexRouter.

Timestamp transformations.

Predicate.

Transformaciones ligeras frente a procesamiento de negocio.

Error handling.

Retries.

`errors.tolerance`.

Logging de errores.

Dead Letter Queue.

Headers de contexto de error.

Exactly-once support para Source Connectors.

`exactly.once.source.support`.

Estado `preparing`.

Estado `enabled`.

Dependencia de que el connector soporte realmente exactamente una vez.

Exactly-once en Sink Connectors y dependencia del sistema destino.

Conectores JDBC.

Bases de datos.

Filesystems.

Object Storage.

Sistemas SaaS.

Change Data Capture mediante conectores especializados.

Escalado de tasks.

Monitorización de workers.

Monitorización de connectors.

Monitorización de tasks.

Reinicios.

Configuración sensible.

Secret Config Providers.

Separación de credenciales de los archivos de configuración.

Gestión de actualizaciones de plugins.

Aislamiento de plugins.

Compatibilidad entre versiones.

¿Qué es Kafka Streams?

Librería embebida frente a plataforma externa de procesamiento.

Aplicación Java.

Topology.

Source Processor.

Sink Processor.

Streams DSL.

Processor API.

KStream.

KTable.

GlobalKTable.

Diferencias entre stream y tabla.

Record keys.

Serdes.

Repartitioning.

Stateless transformations.

`map`.

`filter`.

`flatMap`.

Stateful transformations.

Aggregations.

`groupBy`.

`count`.

`reduce`.

`aggregate`.

Joins.

Stream-stream joins.

Stream-table joins.

Table-table joins.

Windowing.

Tumbling windows.

Hopping windows.

Sliding windows.

Session windows.

Event Time.

Processing Time.

Grace periods.

Late events.

State Stores.

RocksDB.

In-memory stores.

Changelog topics.

State restoration.

Standby replicas.

Interactive Queries.

Parallelismo.

Stream Threads.

Tasks.

Particiones y tasks.

`application.id`.

Exactly-once v2.

Error handling.

ProductionExceptionHandler.

ProcessingExceptionHandler.

Dead Letter Queue incorporada en Kafka Streams 4.2.

Streams Rebalance Protocol.

Broker-driven task assignment.

Mayor estabilidad durante rebalances.

Protocolo disponible desde Kafka 4.2 para el conjunto de capacidades soportadas.

Nuevas métricas de state stores introducidas en Kafka 4.3.

Limpieza automática de directorios de estado antiguos.

Headers almacenables en State Stores desde Kafka 4.3.

Kafka Streams 4.3.0 contiene un memory leak crítico en RocksDB corregido en 4.3.1, por lo que el curso utiliza 4.3.1.

Escalado horizontal mediante varias instancias de una misma aplicación Streams.

Pruebas y evolución de topologías.

Gestión del estado durante upgrades.

Event Design.

Evento como contrato entre productores y consumidores.

Eventos de negocio frente a eventos técnicos.

Nombres de topics orientados al dominio.

Bounded Context.

Event Carried State Transfer.

Event Notification.

Domain Events.

Integration Events.

Event Envelope.

Metadata.

Event ID.

Correlation ID.

Causation ID.

Timestamp.

Producer.

Schema version.

Trace context.

Keys estables.

Selección de key según requisitos de orden.

Riesgos de hot partitions.

Diseño de payload.

Eventos pequeños y cohesionados.

Evitación de payloads innecesariamente grandes.

JSON.

Avro.

Protocol Buffers.

Serialización binaria frente a texto.

Schema evolution.

Backward compatibility.

Forward compatibility.

Full compatibility.

Adición de campos.

Eliminación de campos.

Valores predeterminados.

Renombrado de campos.

Cambios incompatibles.

Schema Registry como patrón arquitectónico.

Registros de esquemas externos compatibles con Kafka.

Validación de esquemas antes de producir.

Data Contracts.

Ownership.

Documentación.

Versionado.

Testing de compatibilidad.

Contract Testing.

Prohibición de reutilizar un mismo topic para eventos con semánticas incompatibles.

Retención ligada al propósito de negocio.

PII dentro de eventos.

Minimización de datos.

Campos sensibles.

Cifrado a nivel de campo cuando sea necesario.

Tombstones.

GDPR y eliminación de información en logs append-only.

Diseño para replay.

Consumidores tolerantes a versiones anteriores y posteriores.

Evitación de coupling entre modelo interno de una aplicación y contrato público de eventos.

Modelo de amenazas de una plataforma Kafka.

Network segmentation.

Exposición de listeners.

Listener interno.

Listener externo.

Controller listener.

Cifrado en tránsito.

TLS.

Certificados de servidor.

Certificados de cliente.

mTLS.

Truststores.

Keystores.

Rotación de certificados.

Hostname verification.

SASL.

SASL/GSSAPI.

Kerberos.

SASL/PLAIN.

SASL/SCRAM-SHA-256.

SASL/SCRAM-SHA-512.

SASL/OAUTHBEARER.

Kafka 4.3 soporta autenticación mediante TLS y los mecanismos SASL GSSAPI, PLAIN, SCRAM y OAUTHBEARER.

Uso de SASL_SSL en producción.

OAuth 2.0.

Identity Provider.

Client Credentials.

OAuth Client Assertion incorporado en Kafka 4.3.

Diferencia entre autenticación y autorización.

Principal.

StandardAuthorizer.

`authorizer.class.name=org.apache.kafka.metadata.authorizer.StandardAuthorizer`.

ACL almacenadas en KRaft metadata log.

Resource.

Topic.

Group.

Cluster.

Transactional ID.

Operation.

Read.

Write.

Create.

Delete.

Describe.

Alter.

Host.

ALLOW.

DENY.

Resource patterns.

Prefixed ACL.

Super Users.

Least Privilege.

Separación entre aplicación y administración.

ACL de productores.

ACL de consumidores.

ACL de Kafka Connect.

ACL de Kafka Streams.

ACL para transacciones.

Seguridad del controller quorum.

Gestión de secretos.

Secret Managers.

Evitación de contraseñas en repositorios.

Protección de JAAS.

Variables de entorno.

File permissions.

Config Providers.

Auditoría.

Logs de autenticación.

Restricción de herramientas administrativas.

Seguridad de JMX.

Kafka deshabilita JMX remoto por defecto y requiere protegerlo al habilitarlo en producción.

Actualización frente a vulnerabilidades.

Hardening del sistema operativo.

Protección del almacenamiento de logs.

Seguridad de backups.

Multi-tenancy segura.

Diferencia entre monitorización y observabilidad.

Health del cluster.

SLI.

SLO.

Disponibilidad.

Throughput.

Latencia.

Durabilidad.

Consumer Lag.

JMX.

Yammer Metrics en servidor.

Kafka Metrics en clientes.

Metrics Reporters.

JMX Reporter.

Seguridad de JMX.

Controller metrics.

KRaft quorum metrics.

Current Leader.

Current Epoch.

High Watermark.

Metadata log end offset.

Snapshot age.

Broker metrics.

Bytes In.

Bytes Out.

Requests.

Request latency.

Request queue.

Network processor idle.

Request handler idle.

Under Replicated Partitions.

Offline Partitions.

ISR expansions.

ISR shrinks.

Log directory failures.

Disk usage.

Partition size.

Producer metrics.

Record send rate.

Request latency.

Batch size.

Compression rate.

Retry rate.

Error rate.

Buffer available.

Consumer metrics.

Records consumed.

Fetch latency.

Fetch size.

Poll interval.

Consumer lag.

Commit latency.

Share Consumer metrics.

Kafka Connect metrics.

Connector status.

Task failures.

Kafka Streams metrics.

Thread.

Task.

Processor.

State Store.

Kafka expone métricas oficiales mediante JMX para brokers, KRaft, producers, consumers, Connect, Streams y Share Consumers.

Prometheus mediante exporters o reporters compatibles.

Grafana.

Alertas.

Dashboards.

JVM heap.

Off-heap.

Garbage Collection.

Java 25.

Page cache.

CPU.

I/O wait.

Network throughput.

Disk latency.

Filesystem saturation.

Open file descriptors.

Capacity Planning.

Cálculo de almacenamiento según throughput, retención y replication factor.

Impacto de compresión.

Impacto de replication factor.

Número de particiones.

Partition skew.

Hot partitions.

Consumer imbalance.

Producer throttling.

Quota throttling.

Diagnóstico de consumer lag.

Diagnóstico de rebalances frecuentes.

Diagnóstico de ISR shrink.

Diagnóstico de broker lento.

Diagnóstico de controller.

Diagnóstico del metadata quorum.

Diagnóstico de saturación de disco.

Diagnóstico de latencia de red.

Tuning de producer.

Tuning de consumer.

Tuning de broker.

Tuning de Kafka Streams.

Benchmarking.

`kafka-producer-perf-test.sh`.

`kafka-consumer-perf-test.sh`.

Comparación entre throughput máximo y SLO de producción.

Detección de cuello de botella antes de ampliar hardware.

Razones para utilizar varios clusters.

Separación por entorno.

Separación por región.

Separación por dominio.

Aislamiento de cargas.

Multi-tenancy.

Disaster Recovery.

Active-Passive.

Active-Active.

Multi-region.

Latencia interregional.

Replicación asíncrona.

RPO.

RTO.

Kafka MirrorMaker 2.

Arquitectura basada en Kafka Connect.

MirrorSourceConnector.

MirrorCheckpointConnector.

MirrorHeartbeatConnector.

Heartbeats.

Checkpoints.

Replicación de topics.

Replicación de configuraciones.

Replicación de ACL cuando el diseño lo permita.

Traducción de offsets.

Kafka 4.3 incorpora traducción en batch de offsets entre clusters mediante `RemoteClusterUtils.translateOffsets()`.

Remote topic naming.

Replication Policy.

Prevención de replication loops.

Bidirectional replication.

Selección de topics.

Exclusiones.

Replication Factor en destino.

Consumer failover.

Reanudación desde offsets traducidos.

Monitorización de MirrorMaker.

Métricas de heartbeat.

Replication lag.

Network partitions.

Fallo del cluster origen.

Fallo del cluster destino.

Recuperación.

Failback.

Conflictos en arquitecturas active-active.

Diferencias entre replicación Kafka y replicación de una base de datos.

Cluster Linking como concepto disponible en determinadas distribuciones comerciales y diferenciación respecto a Apache Kafka.

Kafka gestionado en cloud.

Responsabilidad compartida.

Separación entre funcionalidades Apache Kafka y funciones específicas de proveedores gestionados.

Seguridad entre regiones.

Coste del tráfico.

Tiered Storage y su impacto sobre capacidad local.

Backup frente a replicación.

Replicación no equivalente a backup.

Simulación periódica de Disaster Recovery.

Runbooks de failover y failback.

Kafka como plataforma crítica administrada mediante Infrastructure as Code.

Configuración bajo control de versiones.

CI/CD de configuraciones.

Validación previa.

Separación entre configuración de plataforma y aplicaciones.

Docker image oficial.

`apache/kafka:4.3.1`.

Imagen `apache/kafka-native:4.3.1`.

Persistencia de almacenamiento en contenedores.

Evitación de almacenar logs únicamente en filesystem efímero.

Kubernetes.

StatefulSets.

Persistent Volumes.

Pod Disruption Budgets.

Pod Anti-Affinity.

Topology Spread.

Rack awareness.

Storage Classes.

Network Policies.

Secrets.

Certificates.

CPU requests.

Memory requests.

JVM heap frente a memoria total del container.

Graceful shutdown.

Rolling restart.

Readiness.

Health checks.

Operadores de Kafka.

Diferenciación entre Apache Kafka y operadores mantenidos por terceros.

Cloud Infrastructure.

Automatización del provisioning.

Gestión declarativa de topics.

Gestión declarativa de ACL.

Gestión de quotas.

GitOps.

Promoción de configuraciones.

Compatibilidad entre clientes y brokers.

Rolling upgrades.

Feature Levels.

Metadata Version.

`kafka-features.sh`.

Upgrade de brokers uno a uno.

Validación antes de finalizar la versión de metadata.

Kafka 4.3 requiere KRaft; un cluster ZooKeeper debe migrarse antes de actualizar a 4.x.

Kafka 3.9 como última bridge release para migración ZooKeeper → KRaft.

Downgrade.

Limitaciones de downgrade cuando cambia la metadata version.

Compatibilidad de clientes.

Gestión de deprecaciones.

Deprecación de `streams-scala` en Kafka 4.3 de cara a Kafka 5.0.

Evolución del nuevo Consumer Rebalance Protocol.

Preparación para cambio de protocolo por defecto en futuras versiones.

Upgrade de Kafka Streams.

Estado local.

Changelog restoration.

Kafka Streams 4.3.1 como versión recomendada dentro de la rama 4.3 por la corrección del memory leak de RocksDB.

Gestión de conectores durante upgrades.

Compatibilidad de plugins.

Backup de configuraciones.

Plan de rollback.

Canary de clientes.

Pruebas de carga.

Pruebas de failover.

Runbooks de actualización.

Gestión de End of Support.

Revisión periódica de release notes.

Automatización sin perder capacidad de recuperación manual.

Definición de un caso empresarial basado en eventos.

Identificación de productores.

Identificación de consumidores.

Identificación de sistemas externos.

Identificación de requisitos de throughput.

Identificación de requisitos de latencia.

Definición de retención.

Definición de durabilidad.

Definición de RPO y RTO.

Diseño del cluster KRaft.

Separación de brokers y controllers.

Dimensionamiento del controller quorum.

Definición de listeners.

Definición de almacenamiento.

Definición de replication factor.

Definición de `min.insync.replicas`.

Estimación de capacidad.

Cálculo del espacio requerido.

Planificación de particiones.

Diseño de topics.

Convenciones de nombres.

Definición de keys.

Definición del orden requerido.

Identificación de hot partitions potenciales.

Definición de política de retención.

Uso de compactación cuando corresponda.

Evaluación de Tiered Storage.

Definición de contratos de eventos.

Selección del formato de serialización.

Estrategia de evolución de esquemas.

Diseño del Producer.

Configuración de `acks`.

Configuración de batching.

Configuración de compresión.

Configuración de retries.

Idempotencia.

Definición del Consumer.

Configuración del grupo.

Selección del nuevo Consumer Rebalance Protocol.

Gestión de offsets.

Estrategia de commits.

Control de lag.

Evaluación de Share Groups para procesos tipo queue.

Diseño de garantías de entrega.

Identificación de procesos at-least-once.

Identificación de procesos exactly-once.

Definición de transacciones.

Tratamiento de errores.

Diseño de Dead Letter Topics.

Política de replay.

Diseño de idempotencia de negocio.

Configuración de Kafka Connect.

Selección de Sources.

Selección de Sinks.

Definición de workers.

Configuración de topics internos.

Definición de SMT.

Gestión de errores de conectores.

Evaluación de exactly-once.

Diseño de una topología Kafka Streams.

Definición de KStream.

Definición de KTable.

Agregaciones.

Windowing.

Joins.

State Stores.

Changelog.

Exactly-once v2.

Tratamiento de excepciones.

Diseño de seguridad.

TLS.

SASL.

Selección del mecanismo de autenticación.

Diseño de ACL.

Principio de mínimo privilegio.

Protección de credenciales.

Seguridad de JMX.

Diseño de observabilidad.

Métricas de brokers.

Métricas del quorum KRaft.

Métricas de productores.

Métricas de consumidores.

Consumer Lag.

Métricas de Connect.

Métricas de Streams.

Definición de SLI.

Definición de SLO.

Diseño de alertas.

Evaluación de rendimiento.

Identificación de límites de CPU.

Identificación de límites de red.

Identificación de límites de disco.

Definición de quotas.

Diseño de escalado.

Reassignment de particiones.

Estrategia de decommission.

Diseño multicluster.

Definición de MirrorMaker 2.

Estrategia de failover.

Estrategia de failback.

Diseño de Disaster Recovery.

Preparación de despliegue automatizado.

Gestión de configuración como código.

Estrategia de rolling upgrade.

Gestión de Metadata Version.

Plan de rollback.

Validación final de disponibilidad.

Validación final de durabilidad.

Validación final de seguridad.

Validación final de rendimiento.

Validación final de mantenibilidad y capacidad operativa.