por Diego Calvo | Nov 23, 2018 | Big data, Scala
Ejemplo de regresión lineal sobre segmentos de datos Realiza diferentes regresiones de datos tomando como grupo para segmentar la clave formado por el identificador y el tipo import org.apache.spark.ml.Pipeline import org.apache.spark.ml.feature.VectorAssembler import... por Diego Calvo | Nov 8, 2018 | Scala
Transformar fecha dada en segundos a tipo Fecha y hora import java.time.{LocalDateTime, ZoneOffset} val offset = ZoneOffset.UTC val mydate = LocalDateTime.ofEpochSecond(1541113018, 0, offset) print(mydate) 2018-11-01T22:56:58 Transformar fecha dada en segundos a tipo... por Diego Calvo | Oct 31, 2018 | Big data, Scala
Prerequisitos Tener configurado la paquetería de Spark para IntelliJ IDEA Tener un Elastic con Searchguard instalado Incluir en el fichero pon la paquetería propia de Elastic: <!– https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20... por Diego Calvo | Oct 27, 2018 | Big data, Scala
Prerequisitos Tener configurado la paquetería de Spark para IntelliJ IDEA Incluir en el fichero pon la paquetería propia de elastic: <!– https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch-spark-20 –> <dependency>... por Fernando Campos | Sep 26, 2018 | Big data, Hadoop, Scala, Spark
En este post vamos a mostrar la manera de invocar un SparkSession para escribir un fichero en disco mediante hfds. Para ello toma como punto de partida el post Mi primera Apache Spark con Scala con Maven en Intelligent Idea. En el paquete com.fer.cam se crea una... por Diego Calvo | Sep 17, 2018 | Big data, Scala, Spark
Ejemplo en Scala Spark de multiplicar por dos un vector En este ejemplo se muestran los pasos a seguir para crear un proyecto spark en Scala y ejecutarlo como un trabajo en el sistema distribuido Crear proyecto Entrar en el entorno de desarrollo IntelliJ Idea y crear...
