От Stream к LakeHouse: использование Apache Kafka с Apache Flink Dynamic Iceberg Sink

Описание: Загрузка тысяч постоянно обновляющихся тем Apache Kafka в «озёрный дом» часто создаёт сложные и нестабильные конвейеры, требующие постоянного ручного вмешательства. Но что, если бы ваш конвейер загрузки мог адаптироваться самостоятельно, без простоев?

Откройте для себя динамический приёмник Apache Flink Iceberg Sink — новый коннектор для Apache Flink, который позволяет пользователям легко записывать потоковые данные в несколько таблиц Apache Iceberg — динамически, эффективно и с полной поддержкой эволюции схемы. Приёмник может создавать и записывать данные в новые таблицы на основе инструкций, содержащихся в самих записях. По мере изменения схемы входящих записей динамический приёмник может обновлять схему таблицы Iceberg в «озёрном доме». Более того, он может адаптироваться к изменениям в схеме секционирования таблицы Iceberg. Важно то, что всё это происходит в режиме реального времени, без перезапуска задания.

В этом сеансе рассматривается использование динамического приёмника Flink Iceberg Sink для загрузки данных Kafka с динамическими схемами Avro, полученными из реестра схем Apache. Получите план создания масштабируемого, самоадаптирующегося уровня потребления, который упростит операционные затраты и станет настоящим мостом между вашими ручьями и вашим домом у озера.

Спикер: Свапна Марру