Analítica en tiempo real usando Apache Kafka y Apache Flink gestionados por AWS

Описание: Emitido originalmente en la serie de Webinars de AWS España.

Analizar datos en tiempo real no es una tarea trivial, sobre todo si hay un volumen de datos elevado. Afortunadamente, hay herramientas Open Source como Apache Kafka o Apache Flink, que facilitan mucho el proceso. Tanto Kafka como Flink se utilizan en empresas de todo tipo y de todo tamaño para procesar datos en streaming y hacer analítica en tiempo real. Instalar una versión de cualquiera de ellos es trivial y puedes empezar a desarrollar muy rápido. Pero en cuanto quieres tener una instalación un poco más robusta para producción, con alta disponibilidad y con la posibilidad de añadir más capacidad conforme vas creciendo, es cuando empiezan los problemas. Como cualquier otro software que funciona en un entorno distribuído, tanto Kafka como Flink necesitan configuraciones avanzadas, gestión del hardware y de la red, monitorización, y en definitiva dedicarles tiempo para asegurarse que todas las máquinas del cluster están funcionando correctamente.

En este video, aprenderás las bases de Apache Kafka y de Apache Flink, y entenderás por qué hay empresas que deciden utilizarlas para procesar billones de eventos diarios con milisegundos de latencia. Pero además verás cómo los servicios de AWS Managed Streaming for Apache Kafka y Amazon Kinesis Data Analytics, te permiten ejecutar tu código (sin cambios) directamente de manera gestionada. Para que tú puedas centrarte en la lógica de negocio, mientras AWS te ayuda a gestionar la infraestructura. Para que todo quede más claro, veremos una demo de cómo integrar estas dos herramientas.

El código para la demo está disponible en https://github.com/javier/wiki-edits