Instalar Spark en Windows, PySpark En Entorno Virtual o Docker con Jupyter Lab, Jupyter Notebook.

Описание: Notebook
https://github.com/JorgeCardona/skill...

Variables de Entorno para Windows
['JAVA_HOME'] ='C:/Program Files/Java/jdk-11.0.9/bin'
['SPARK_HOME'] = 'C:/Program Files/Java/spark/bin'
['HADOOP_HOME'] = 'C:/Program Files/Java/spark/bin'
['PYSPARK_PYTHON'] = 'C:/Users/QiDimMak/AppData/Local/Programs/Python/Python310/python.exe'

creacion entorno virtual
virtualenv spark

activacion entorno virtual
.\spark\Scripts\activate

instalacion de paquetes para ejecutar el notebook
pip install jupyterlab pyspark pandas requests itables

iniciar jupyter lab
jupyter lab --notebook-dir='C:\z_GitHub_Virtual_Environment\spark'

desactivar entorno virtual
deactivate

cuando se quiera crear un contenedor que solo este disponible hasta que se cierre la sesion
docker run --name lab --rm -i -t -p 8888:8888 jorgecardona/jupyter
docker run --name notebook --rm -i -t -p 8888:8888 -e TYPE=notebook jorgecardona/jupyter

cuando se quiera crear un contenedor y se mantenga incluso despues de cerrar la sesion
docker run --name lab -i -t -p 8888:8888 jorgecardona/jupyter
docker run --name notebook -i -t -p 8888:8888 -e TYPE=notebook jorgecardona/jupyter

cuando se quiera detener la ejecucion del contenedor
docker stop lab
docker stop notebook

cuando se quiera continuar o reiniciar la ejecucion en un contenedor persistido
docker start -i lab
docker start -i notebook