Función Apache Spark en Python

por | Nov 23, 2017 | Python, Spark | 0 Comentarios

Ejemplo de función en Spark Pythonlogo python

Muestra un ejemplo de función map con spark.

def my_func(iterator): yield sum(iterator)
  
list = range(1,10)
parallel = sc.parallelize(list, 5)
parallel.mapPartitions(my_func).collect()
 [1, 5, 9, 13, 17]

0 comentarios

Enviar un comentario

Tu dirección de correo electrónico no será publicada.