por Diego Calvo | Ago 10, 2018 | Big data, Hadoop, Spark
Escribir datos en HDFS Ejemplo de como escribir datos RDD en un HDFS de Hadoop. // Borrar el fichero si es que existe import scala.sys.process._ «hdfs dfs -rm -r /pruebas» ! // Grabar un RDD en HDFS val rdd = sc.parallelize(List( (0, 60), (0, 56), (0, 54),... por Diego Calvo | Jul 25, 2018 | Bases de Datos
Ejemplos MySQL: Instalar MySQL para RPM Acceso a MySQL: mysql -u root -p Consultar BBDD existentes: show databases; Crear BBDD: create database mibbdd; Consultar tablas: show tables; Crear tabla: CREATE TABLE mitabla ( … ) Insertar datos: INSERT INTO mitabla... por Diego Calvo | Jul 24, 2018 | Big data, Hadoop
Ejemplos de NIFI Grabar en ficheros datos generados aleatoreamente. Transformar un fichero CSV en uno JSON. Grabar en ficheros datos generados aleatoreamente Genera secuencias de datos y las almacena en ficheros de una carpeta definida. Prerequisitos Tener... por Diego Calvo | Jul 23, 2018 | Big data, Scala, Spark
Crear DataFrames Ejemplo de como crear un dataframe en Scala. import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType}; val data = List( Row(«Paco»,»Garcia»,24,24000), Row(«Juan»,»Garcia»,26,27000), Row(«Lola»,»Martin»,29,31000),... por Diego Calvo | Jul 21, 2018 | Big data, Scala, Spark
Crear Datasets RDD simple a Dataset Ejemplo de creación de un dataset a partir de un RDD val rdd = sc.parallelize(List(1,2,3,4,5)) val ds = spark.createDataset(rdd) ds.show() +—–+ |value| +—–+ | 1 | | 2 | | 3 | | 4 | | 5 | +—–+...
