por Diego Calvo | Ago 31, 2018 | Big data, Scala, Spark
Registrar tabla temporal a partir de dataframe Spark permite la posibilidad de definir «Spark SQL» para poder hacer consultas en formato SQL sobre datos en scala. val df = Seq( («id1», 1,1), («id1», 2,1), («id1», 3,1), («id1», 4,1), («id2», 1,1), («id2»,... por Diego Calvo | Ago 30, 2018 | Big data, Scala, Spark
Cálculo de media móvil en Dataframe Scala Calcula la media móvil a partir de una ventana temporal de 3 periodos import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions._ val df = sc.parallelize( List((«Sensor1», «2016-05-01», 50.00),... por Diego Calvo | Jun 29, 2018 | Big data
2003 – Google File System 2004 – MapReduce: Procesamiento simplificado de grandes clusters. 2005 – Doug Cutting comienza a desarrollar Hadoop 2006 – Yahoo comienza a trabajar en Hadoop 2008 – Hadoop sale a producción 2009 – Yahoo...
