Python для науки о данных №4: освоение NumPy и Pandas для обработки данных

Описание: Ссылка NB — https://github.com/abhirajsuresh/Pyth...

Добро пожаловать на 4-ю неделю нашей серии занятий по Python! В этой сессии мы подробно рассмотрим две важнейшие библиотеки для любого специалиста по данным: NumPy и Pandas. Эти мощные инструменты составляют основу обработки данных, их анализа и подготовки моделей машинного обучения. Мы рассмотрим, как выполнять математические и статистические операции с высокопроизводительными массивами NumPy и как легко обрабатывать структурированные данные с помощью Pandas DataFrames.

Занимаетесь ли вы очисткой данных, фильтрацией определённой информации, слиянием наборов данных или выполнением сложных вычислений, это видео даст вам фундаментальные навыки, необходимые для профессионального использования науки о данных. Мы рассмотрим всё: от создания массивов и DataFrames до таких сложных тем, как широковещательная рассылка, группировка и обработка пропущенных значений.

В этом видео вы узнаете:
– Основы NumPy: научитесь создавать и обрабатывать одномерные и двумерные массивы (матрицы).
– Операции с массивами: выполняйте индексацию, срезы и условную фильтрацию массивов NumPy.
– Векторизацию и трансляцию: научитесь эффективно применять операции к целым массивам.
– Изменение формы массивов: научитесь изменять форму массивов в соответствии с различными потребностями.
– Введение в Pandas: откройте для себя возможности Pandas Series и DataFrames для работы с табличными данными.
– Обработка данных: научитесь получать доступ к DataFrames, фильтровать и объединять их.
– Расширенные операции: изучите группировку данных и выполнение агрегатных функций, таких как среднее и максимальное значения.
– Очистка данных: освойте методы обработки пропущенных (NaN) значений и дубликатов.

Временные метки
0:00 — Введение в неделю 4: NumPy и Pandas
0:55 — Начало работы с NumPy
2:01 — Установка и импорт NumPy
3:00 — Создание одномерных и двумерных массивов NumPy
3:54 — Индексирование и срез массивов NumPy
5:17 — Условная фильтрация массивов
6:01 — Векторизация и трансляция в NumPy
6:50 — Изменение формы массивов NumPy
8:40 — Введение в библиотеку Pandas
8:50 — Создание серии Pandas
9:55 — Создание DataFrame Pandas из словаря
10:35 — Доступ к данным в DataFrame
11:32 — Объединение и слияние DataFrame
12:25 — Добавление новых столбцов и применение условий
12:40 — Группировка данных с помощью groupby()
13:31 — Обработка пропущенных данных (значений NaN)
15:29 — Удаление пропущенных значений и дубликатов
16:40 — Заключение и дальнейшие действия