Leer CSV en Databricks en Spark

Cargar CSV en Databricks

Databricks Community Edition proporciona una interfaz gráfica para la carga de archivos.

Este interfaz se acceder en DataBase > Create New Table.

Una vez dentro se deben de indicar los campos:

Upload to DBF: nombre del fichero a cargar.
Select a Cluster to Preview the Table: Clúster sobre el que realizar las operaciones.

Cargar datos cvs en databricks

Cargar datos cvs en databricks 2

Leer ficheros

El acceso al fichero cargado se puede realizar mediante una consulta SQL de Spark

mis_datos = spark.sql("SELECT * FROM datos_csv")
display(mis_datos.select("*"))

resultado de una consulta sql spark