Curso Databricks 2026 #5 | Delta Lake Table

Описание: En esta sesión trabajamos Delta Lake desde un enfoque práctico, explorando cómo se crean, modifican y gestionan las tablas dentro de Databricks, y qué ocurre realmente a nivel de archivos y metadatos en cada operación.

Comenzamos creando tablas Delta usando SQL, entendiendo la relación entre catálogos, bases de datos y almacenamiento, y por qué en este caso se utiliza el hive_metastore. A partir de ahí, insertamos datos en múltiples operaciones para analizar cómo cada transacción impacta el directorio de la tabla y genera nuevos archivos Parquet.

Exploramos el Catálogo de Databricks, consultamos los datos con SQL estándar y utilizamos comandos como DESCRIBE DETAIL para inspeccionar la metadata de la tabla, incluyendo el número de archivos, la ubicación física y la versión actual.

Luego analizamos operaciones de UPDATE y DELETE, entendiendo por qué Delta Lake no modifica archivos existentes, sino que crea nuevas versiones y utiliza el transaction log (_delta_log) para determinar qué archivos son válidos en cada estado de la tabla. Revisamos directamente los archivos JSON del log para ver cómo se registran las operaciones de agregado y eliminación lógica de datos.

Esta sesión está orientada a comprender cómo funciona Delta Lake internamente, cómo se gestionan las transacciones y por qué su arquitectura basada en archivos inmutables y registro de transacciones es clave para la confiabilidad y consistencia en plataformas modernas de datos.

Temas clave: Delta Lake, Databricks, tablas Delta, SQL, transaction log, _delta_log, versionado interno, archivos Parquet, data engineering.

Material de apoyo: Leer los siguientes temas del capitulo 2 del libro Databricks Certified Data Engineer Associate Study Guide Derar AlhusseinC

CAP 2:
Working with Delta Lake Tables
Creating Tables
Catalog Explorer
Inserting Data
Exploring the Table Directory
Updating Delta Lake Tables
Exploring Table History

Episodio Spotify de apoyo: --EN DESARROLLO --

🔗 Suscripciones 👉 https://www.youtube.com/cha.../UCpqqJ...
💬 Discord 👉   / discord  
📸 Instagram 👉   / pildoras_de_programacion  
🎵 TikTok 👉 https://www.tiktok.com/@pil_programac...
📘 Facebook 👉   / pilprogramacion  
📺 YouTube 👉    / @pildorasdeprogramacion  
🔔 ¡Suscríbete y activa la campanita para no perderte futuros lives!
🔴 ¡Nos vemos en el live! 🚀🐳