Tutorial de Python Spark

Preparación del entorno de desarrollo

Entorno Python

1. Instalación del entorno de desarrollo: instalar Anaconda y PyCharm CE
2. Otros entornos recomendados: Eclipse, Spyder (incluido en anaconda y Aton)
3. Configurar y cambiar el entorno virtual
4. Importar paquetes: pip install & import
5. Crear un directorio si no existe: os.start(…) os.mkdir(…)
6. Entorno virtual para Python -m venv nombre_entorno

Entorno Spark Python

• Instalación de Apacke Spark
• Uso de Apache Spack online: databricks community edition
• Librerías habituales
• Instalación de Apache Spark con distribución libre (Hortonworks)

 

Conceptos básicos

1. Funciones
2. Funciones con Spark
3. Bucles: for, while
4. Incluir argumentos: argparse. Ejemplo: copiar.py fichero_origen.txt fichero_destino.txt
5. Fechas

 

Carga y lectura de ficheros

• Lectura y escritura de ficheros: csv, facta
• Carga y lectura de CVS en Databricks – Spark
• Leer y escribir JSON incluso comprimidos
• Leer y escribir Parquet incluso comprimidos

 

Estructuras de datos

DATAFRAMES (simples)

• DataFrames: import pandas as pd     datos = pd.DataFrame(columns=(‘datos1’, ‘datos2’))

MATRICES (simples)

• Matrices: import numpy as np datos = np.array([[1,2,3],[4,5,6]])

LISTAS (simples)

• Listas: list(), [1,2,3], append(), extend(), remove(), count(), index(), set()

RDD (Spark)

Creación de RDD

• RDD a partir de colecciones de datos
• RDD a partir de diccionarios
• RDD a partir de la lectura de ficheros

Almacenamiento de RDD

• Escritura de RDD en fichero

Operaciones con RDD

• Operaciones básicas con una lista RDD
• Operaciones basicas con una diccionario RDD
• Ordenar RDDs
• Filtrado de RDDs
• Muestreo de datos
• Operaciones con conjuntos
• Operaciones Map/Reduce

 

Procesamiento de datos

Procesamiento de datos por lotes (batch)

• Definir un DataFrame “pyspark“
• Realizar agrupaciones sobre datos
• Realizar consultas SQL

Procesamiento en tiempo real (streaming)

• Preparación de datos que simulan tiempo real
• Realizar agrupaciones sobre datos
• Establecer la configuración de flujo de datos del cluster
• Realizar consultas SQL

 

Tuberías (Pipelines)

• Uso de tuberías (Pipelines)
• Uso de tuberías en arboles de decisión
• Uso de tuberías en k-means

 

Machine Learning

Aprendizaje supervisado

• Arboles de decisión (Simples) – Spark
• Regresión lineal simple
• Regresión lineal simple – Spark
• Regresión Logística

Aprendizaje no supervisado

• K-Means – Spark

 

Ejecución distribuida en Spark

• Ejemplo hola mundo

 

Otros

• Test unitarios
• Bioinformatica: Segmentador de secuencias de nucleótidos