Форматы файлов с нуля: CSV, JSON, Parquet, ORC, Avro — вся база для дата-инженераfile formats

Описание: Один и тот же запрос может идти час, а может минуту — и решает это формат файла. Разбираю CSV, JSON, Parquet, ORC и Avro с полного нуля и на понятных картинках. После видео ты будешь понимать, какой формат когда брать и что отвечать на собесе.

В видео:
— что значит «текстовый» и «двоичный» формат
— что такое схема и что значит «схема вшита в файл»
— хранение по строкам и по колонкам: почему колоночные файлы весят в разы меньше
— CSV: плюсы, минусы и почему CSV в gzip плохо для Spark
— JSON и JSON Lines
— Parquet изнутри: row group, footer, min/max, predicate pushdown и column pruning
— замер на 6 млн строк: CSV 209 МБ против Parquet 79 МБ, 6,9 с против 1,3 с
— ORC: чем отличается от Parquet и где его встретишь
— Avro: зачем строковый формат, изменение схемы и Schema Registry в Kafka
— Iceberg и Delta Lake — это тоже Parquet
— 5 вопросов с собеса

Таймкоды:
00:00 Вступление
00:32 Проблема: зачем вообще думать о формате
01:00 Текстовый и двоичный
01:48 Схема: вшита или нет
02:55 Строки или колонки
04:02 CSV
04:43 JSON
05:20 Parquet изнутри
06:27 Замер: CSV против Parquet
07:24 ORC и чем он отличается от Parquet
08:54 Avro
10:04 Как выбрать формат
10:53 5 вопросов с собеса
12:50 Итог

Пиши в комментариях, какую тему разобрать следующей 👇

Больше разборов по Data Engineering:
🌐 Сайт: https://www.logovo-de.ru
📣 Telegram: https://t.me/logovo_dataengineer

#dataengineering #датаинженер #parquet #spark #bigdata #собеседование