Apache Kafka: Guia Completo de Benchmark, Throughput e Latência

Описание: 🍽️ Prato do dia: Benchmark Apache Kafka
Neste vídeo, o Apache Kafka vai para a cozinha e o cluster vira um restaurante de alta performance.
​
Você aprende, passo a passo, como montar um cardápio completo de testes usando apenas os binários nativos (kafka-producer-perf-test.sh, kafka-consumer-perf-test.sh, kafka-e2e-latency.sh) para medir throughput, latência ponta a ponta, impacto de partições e fator de replicação.
​

🥗 Entrada – Mise en place do cluster

Preparar os tópicos de teste com diferentes combinações de partições e replication factor.

Garantir que disco, CPU e rede estão prontos para aguentar o “serviço” com testes baseline de I/O e monitorização em tempo real (iostat, iftop, htop, etc.).
​
Ajuda a identificar o I/O de discos:

```bash
Teste rápido com arquivo de 1GB
dd if=/dev/zero of=/tmp/tmpfile bs=1M count=1024 conv=fsync
dd if=/tmp/tmpfile of=/dev/null bs=1M count=1024
rm /tmp/tmpfile
```


🍝 Prato principal – Banquete de throughput

Como usar kafka-producer-perf-test.sh para descobrir o throughput por partição e o verdadeiro custo do replication factor (RF=1 vs RF=3).
​

Como calcular o número mínimo de partições para atingir um objetivo de MB/s, transformando requisitos de negócio em decisões técnicas claras.
​

🍷 Harmonização – Latência ponta a ponta

Testes de latência end-to-end com kafka-e2e-latency.sh, entendendo média, P95, P99 e P99.9 para saber se seu “serviço” está fluido ou travando na cozinha.
​

Comparações de acks, tamanho de mensagem e configuração do produtor para equilibrar throughput e confiabilidade sem desperdiçar recursos.
​

🍰 Sobremesa – Monitorização e troubleshooting

Como cruzar resultados de Kafka com métricas de disco, CPU, memória e rede para identificar o gargalo real (e não o “vilão da moda”).
​

Quais métricas de produtor, consumidor e broker merecem ir para o cardápio fixo de observabilidade em produção.
​

📦 Ferramenta gratuita: kafka-perf-test

Para acelerar tudo isso, disponibilizo o repositório kafka-perf-test, com Docker Compose, scripts bash e uma implementação em Python que automatiza os testes e gera relatórios HTML interativos para análise visual dos resultados.
​
GitHub: https://github.com/mordp1/kafka-perf-...

Recursos Adicionais
Confluent OpenMessaging Benchmark: https://github.com/confluentinc/openm...
OpenMessaging Benchmark Framework: https://openmessaging.cloud/docs/benc...

🔑 Palavras-chave que você vai ver neste vídeo
Apache Kafka, Kafka benchmark, Kafka performance testing, Kafka throughput, Kafka latency, Kafka producer perf test, Kafka consumer perf test, Kafka end-to-end latency, Kafka partitions, replication factor, Kafka tuning, Kafka observability, DevOps, performance engineering, data streaming.

#ApacheKafka #Kafka #KafkaPerformance #KafkaBenchmark #DevOps #DataStreaming.

​