Скачать
Антипаттерны в Apache Spark
Автор: New Professions Lab
Загружено: 2024-04-25
Просмотров: 354
Описание:
Сергей Гришаев (Сбермаркет) показал, как оптимизировать скорость обработки данных в Apache Spark с помощью неявных антипаттернов:
Использование оконных функций, приводящих к Exchange SinglePartition
Нарушение консистентности при использовании Partial Caching
Обработка null значений в Scala UDF
Повторный вызов Scala UDF при использовании сложных типов данных
Снижение параллелизма при использовании coalesce
Наша программа Apache Spark Advanced:
как ускорить обработку данных и писать кастомные коннекторы
https://newprolab.com/spark-advanced
Наш телеграм-канал https://t.me/newprolab_news
Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
![[ НОВЫЙ 2025 ] Уральские Пельмени | Лучшие Выпуски Сборник | Комедийная группа №1 в России](https://ricktube.ru/thumbnail/qj_zdzzoP_s/mqdefault.jpg)
