Tutorial de Scala (ejemplos simples)

logo scalaScala es un lenguaje funcional, orientado a objetos y multiplataforma que corre actualmente sobre la Maquina Virtual de Java. Por otro lado destacar la gran ventaja de integrar sin problemas bibliotecas desarrolladas en otros lenguajes de programación.

Una vez definidas las características princiaples del lenguaje de programación, se muestra el tutorial de Scala, donde se puede ver multitud de ejemplos simples:

 

Conceptos básicos

 

Conectar con Scala al HDFS

 

Formato y Compresión de HDFS

 

Estructuras de datos

LISTAS

 

DATASETS

 

DATAFRAMES

  • Variable que genera el contexto: val spark = SparkSession.builder().appName(“MiApp”).master(“local”).getOrCreate()
  • Crear dataframe: spark.createdataframe()
  • Tranformar datafame: toDF()

Transformaciones de Dataframes

Acciones de Dataframes

 

SPARK SQL

 

RDDs

Lectura y escritura en HDFS

  • Definir configuración: val conf = new SparkConf().setAppName(“MiApp”).setMaster(“local”)
    Variable que genera el contexto: val sc = new SparkContext(conf)
  • Lectura: sc.textFile
  • Escritura: saveAsTextFile

Transformaciones de RDDs

Acciones de RDDs

 

Otras estructuras

 

Procesamiento de datos

 

Machine learning

 

Ejecución distribuida en Spark

 

Otros

 

Fuente: Databricks.com

Otros artículos que pueden ser de interés:

Autor: Diego Calvo