Viết ứng dụng Spark đọc Kafka + Couchbase + Cloud Storage và Deploy lên DataProc + BigQuery

Описание: Instruction: https://github.com/nhamhung/youtube-s...
Code: https://github.com/nhamhung/spark-gcp...

1. Cài đặt GCP CLI
2. Tạo một Spark project
3. Chạy Spark Streaming với Kafka
4. Chạy Spark Batch với Couchbase
5. Deploy Spark Jar lên Cloud Storage
6. Chạy Spark application để tạo Partitioned Data trên Cloud Storage (thay thế Hadoop)
7. Dùng BigQuery (thay thế Hive) để đọc External Table từ Cloud Storage

0:00 Giới thiệu
3:30 GCloud CLI
6:20 Kafka
10:58 Couchbase
16:50 Spark
24:36 Spark + Kafka
31:05 Spark + Couchbase
36:27 Spark + Cloud Storage
45:38 DataProc
54:12 BigQuery