Parallélisation des flux de traitements avec « ray » (Python)
Автор: MASTER 2 SISE DATA SCIENCE
Загружено: 2026-03-01
Просмотров: 73
Описание:
Machine Learning. Data Science. Un exemple réaliste de parallélisation des flux de traitements avec « ray », en exploitant les capacités multicœurs de nos machines. Parsing de fichiers d’emails listés dans un dossier (The Enron Email Dataset), calcul à la volée de la polarité des sentiments en utilisant la librairie NLTK, transformation des résultats sous la forme d’un data frame Pandas. L’adaptation du programme séquentiel en une structure parallélisée requiert peu d’efforts, l’idée est d’utiliser la notion d’Actors de « ray », une classe de calcul qui représente un « worker » (un exécuteur de tâches). Nous dispatchons alors les données en blocs, et nous sollicitons autant de « workers » qu’il y a de sous-parties des données. Le gain de la version parallélisée par rapport au programme séquentiel est vraiment bluffant.
Package Ray : https://docs.ray.io/
Programme et données : https://tutoriels-data-science.blogsp...
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: