Антипаттерны в Apache Spark
Автор: New Professions Lab
Загружено: 2024-04-25
Просмотров: 354
Описание:
Сергей Гришаев (Сбермаркет) показал, как оптимизировать скорость обработки данных в Apache Spark с помощью неявных антипаттернов:
Использование оконных функций, приводящих к Exchange SinglePartition
Нарушение консистентности при использовании Partial Caching
Обработка null значений в Scala UDF
Повторный вызов Scala UDF при использовании сложных типов данных
Снижение параллелизма при использовании coalesce
Наша программа Apache Spark Advanced:
как ускорить обработку данных и писать кастомные коннекторы
https://newprolab.com/spark-advanced
Наш телеграм-канал https://t.me/newprolab_news
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: