Series temporales con Apache Kafka, Apache Flink, Grafana y QuestDB

Описание: ¿Cómo encaja una base de datos de series temporales en tus procesos de streaming de datos para analítica en tiempo real?
En este video te hago una demo de datos de sensores que enviamos a Apache Kafka, los procesamos con Apache Flink para detectar anomalías en tiempo real, y los almacenamos en QuestDB para poderlos presentar de forma gráfica en un panel de Grafana. Además te enseño algunas de las queries que puedes hacer con SQL en QuestDB y que serían más complejas usando una base de datos no especializada.

00:00 Intro
00:45 Qué es QuestDB
01:29 Ingestión de Datos
02:20 Apache Kafka
03:10 Apache Flink para procesar datos en un stream
06:35 Grafana y visualización de datos en tiempo real
07:20 Integrando QuestDB y Grafana usando el plugin de PostgreSQL
08:30 Empieza la demo
09:00 Enviando eventos de sensores a Apache Kafka
11:00 Definiendo tablas en Apache Flink usando el Table API desde SQL
12:00 Integrando Apache Flink y QuestDB con el conector JDBC
13:55 Insertando datos en QuestDB desde Apache Kafka usando Apache Flink
14:36 Primer contacto con la consola de QuestDB
15:30 Detectando anomalías con la librería CEP de Apache Flink desde SQL
16:00 Explicando las queries de tipo MATCH_RECOGNIZE para detectar patrones en queries continuas
18:45 Explicando la claúsula MEASURES para queries continuas
20:10 Insertando datos en QuestDB utilizando queries continuas desde Apache Flink
20:35 Datos en tiempo real en Grafana leyendo desde QuestDB
22:45 Explorando queries para series temporales con QuestDB
23:10 La claúsula LATEST ON en QuestDB para leer los datos más recientes
25:48 CTEs y JOINS en QuestDB
28:14 Usando varias JOINS para consultar datos recientes en diferentes tablas en tiempo real
30:50 Subimos el ritmo y pasamos a procesar varios miles de eventos por segundo
32:12 Despedida y enlaces

Para saber más, https://questdb.io, https://github.com/questdb, https://demo.questdb.io