Выполняю проект на фрилансе: парсинг сайта + пдф
Автор: IT-Helpers
Загружено: 2022-06-22
Просмотров: 3034
Описание:
🧿 Мой телеграмм-канал:
Подпишись! → https://t.me/it_helper_s
➡️ Следующий выпуск:
Делаем простую игру на Python: Pygame или Pyglet?
ООП в Python на практике: • Разбираем ООП на Python
▶️ В этом видео:
Итак, ощущения такие как будто я это видео 18 лет и 5 месяцев делал. Извините за задержку)
Разбираем взятый на профи.ру фриланс-проект.
Задача:
1) Спарсить декларации с сайта нашдом.рф
2) Выбрать необходимые данные из скачанных деклараций
3) Записать эти данные в excel-файл
Сроки: неограничены
Бюджет: 36К (рубчиков, разумеется)
Разработку можно структурно разделить на 2 части:
Первая - это получение данных (парсинг) скачанных деклараций и запись этих данных в таблицу excel
Вторая - парсинг и загрузка самих деклараций для их дальнейшего анализа
Сперва обе части не получилось решить просто, поэтому пришлось изобретать веломопеды
Остальное - в видосе
Что ещё можно было бы рассмотреть подробнее?
регулярки
pandas
парсинг
selenium
Приятного просмотра!
Внимательные зрители, сколько насчитали думающих утят за время просмотра?
📚 Источники инфо:
https://наш.дом.рф/
https://www.python.org/
https://www.jetbrains.com/ru-ru/pycharm/
https://www.regexpal.com/
https://pandas.pydata.org/
https://www.selenium.dev/
👀 Другие видео:
Те самые задачи: • Решение задач с сайта codewars.com на Python
Вот эту задачу очень хвалят: • Хитрая задача на python с фриланса
Бинарный поиск стал хоть клму-то нужен: • Алгоритмы на Python. Бинарный поиск
А вот тут кусок собеседования: • Простая задача с Python-собеседования
🕒 Тайм-коды:
00:00 - Вступление
00:47 - Что будем делать
01:09 - Для кого это видео
02:39 - Где я нашел этот проект
03:16 - О проекте кратко
04:01 - О проекте подробно
05:25 - План разработки и архитектура
08:11 - Планирование времени работы
09:07 - Наброски кода
11:30 - Вместо регулярок
12:00 - Схема-алгоритм
13:00 - Класс Filter
14:38 - CSV-файл
15:15 - Методы класса
16:37 - Фильтрация по умолчанию
17:27 - Additional filter
18:22 - Внезапный косяк fitz
19:45 - Ещё один косяк
19:58 - Use instead of default
20:51 - Расширение архитектуры
21:09 - CONFIG.txt
21:20 - Запись в pandas-датафреймы
23:56 - Хороший парсер не работает
27:04 - Ничо не работает. Почему?
27:50 - Класс WebParser
31:28 - Всё в main!
32:20 - Получаю бабос
33:00 - UPD
33:10 - О косяках в проекте
35:35 - О фрилансе вцелом
36:49 - Заключение
🎵Трек:
🔸 Awakening instrumental
🔸 100 IG - Fluidity
🔸 Abstract Beat - Jazzy
🔸 Lofi Hip-Hop
🔸 Spirit blossom
💪🦾
Ставьте лайк, делитесь роликом, подписывайтесь и помните - терпение и труд - к фриланс-проектам приведут)
©️IT-helpers ✅
Повторяем попытку...

Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: