Архитектура Apache Spark: объяснение за 60 секунд

Описание: #apachespark #databricks #sparkteam #dataengineering #pyspark #architecture

В этом видео я рассмотрел важнейшую тему инженерии данных — Apache Spark. В частности, я рассказал о полной архитектуре Spark, охватывающей все отдельные компоненты, как указано ниже:

1. Программа-драйвер
2. Рабочий узел
3. Менеджер кластера
4. Контекст Spark или сессия Spark
5. DAG
6. RDD
7. Ленивые вычисления
8. Этапы и
9. Задачи

Посмотрите видео полностью и получите полное представление об Apache Spark.

– – – Запишитесь на личную встречу со мной (1 час) – – –

https://www.buymeacoffee.com/mrktalks...

– – – Выразите свою поддержку, заварив мне чашечку кофе в знак поддержки – – –

https://www.buymeacoffee.com/mrktalks...

– – – Другие полезные плейлисты: – – –

1. Плейлист Microsoft Fabric:    • Microsoft Fabric Tutorials  
2. Плейлист Azure General Topics:    • Azure Beginner Tutorials  
3. Плейлист Azure Data Factory:    • Azure Data Factory Tutorials  
4. Плейлист Databricks CICD:    • CI/CD (Continuous Integration and Continuo...  
5. Плейлист Azure Databricks:    • Azure Databricks Tutorials for Beginners  
6. Плейлист Azure End to End Project:    • End to End Azure Data Engineering Real Tim...  
7. Сквозной проект Azure Data Engineering:    • An End to End Azure Data Engineering Real ...  

– – – Давайте подключимся: – – –

Эл. почта: [email protected]
Инстаграм: mrk_talkstech

– – – Обо мне: – – –

Г-н К. – увлеченный преподаватель, создавший этот канал с одной целью: «ПОМОЧЬ ЛЮДЯМ УЗНАТЬ О СОВРЕМЕННЫХ РЕШЕНИЯХ ДЛЯ ПЛАТФОРМ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ ОБЛАЧНЫХ ТЕХНОЛОГИЙ».

Я создам плейлист, охватывающий следующие темы (с демонстрацией):

1. Учебные пособия по Azure для начинающих
2. Azure Data Factory
3. Azure Synapse Analytics
4. Azure Databricks
5. Microsoft Power BI
6. Azure Data Lake Gen2
7. Azure DevOps
8. GitHub (и ряд других тем)

После создания нескольких базовых видеоматериалов я буду создавать видео с примерами сценариев/вариантов использования в реальном времени, специфичными для трех распространенных полей данных:

1. Инженер по данным
2. Аналитик данных
3. Специалист по анализу данных

С нетерпением жду возможности помочь людям с помощью моих видео.

– – – Поддержите меня: – – –

Подпишитесь:    / @mr.ktalkstech