Reducir elementos de un RDD en Scala

por | Jun 25, 2018 | Big data, Scala, Spark | 0 Comentarios

Ejemplo: reducir elementos de un RDD – reduce (función)scala_logo

Agregar los elementos del conjunto de datos segun la función indicada por parámetro. Esta función debe ser conmutativa y asociativa para que se pueda calcular correctamente en paralelo.

val rdd = sc.parallelize(1 to 4, 2)
rdd.reduce(_+_)
res: Int = 10

Ejemplo: reducir elementos de un RDD – foreach (función)

Ejecuta la función indicada por parámetro para cada elemento del conjunto de datos.

Se suele utilizar para efectos secundarios, como actualizar un acumulador o interactuar con sistemas de almacenamiento externos.

val a = Array("coche", "moto", "tren", "avion")
a.foreach{x => println("Mira mi nuevo " + x)}
Mira mi coche
Mira mi moto
Mira mi tren
Mira mi avion

Nota: la modificación de variables que no sean acumuladores fuera de foreach () puede dar como resultado un comportamiento indefinido.

0 comentarios

Enviar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *