Организация приема данных в реальном времени с помощью AWS Kinesis и Firehose — практическое занятие

Описание: Выбор и внедрение решения для сбора данных

В этой пошаговой практической лабораторной работе вы узнаете, как создать и организовать конвейер сбора данных в реальном времени в AWS с использованием Amazon Kinesis Data Streams и Kinesis Data Firehose.

Мы рассмотрим создание потока данных, публикацию потоковых данных с помощью Python и Boto3, настройку Firehose для доставки данных в Amazon S3 и даже отправку данных напрямую в Firehose без потока Kinesis.

Это руководство идеально подходит для специалистов по инжинирингу данных, машинному обучению и подготовки к сертификации AWS (особенно к экзаменам Data Engineer – Associate и Machine Learning – Specialty).

🔎 Что вы изучите:
Создание и настройка Amazon Kinesis Data Stream
Публикация потоковых данных в режиме реального времени с помощью Python и Boto3
Доставка потоковых данных в S3 с помощью Kinesis Data Firehose
Использование Direct PUT для отправки данных напрямую в Firehose без потока данных
Понимание принципов буферизации и доставки в Firehose

💡 К концу этой практической работы вы будете знать, как проектировать сквозные потоковые конвейеры для аналитики в режиме реального времени и машинного обучения в AWS.

⚠️ Примечание: Amazon Kinesis Data Streams не входит в уровень бесплатного пользования AWS, и с вас может взиматься плата в зависимости от количества выделенных вами шардов, объема полученных данных и количества запросов к API. Если вы хотите избежать возможных расходов, вы можете просто посмотреть это руководство, не развертывая ресурсы в своей учетной записи AWS.