Big data – Frameworks de procesamiento de datos

Los frameworks de procesamiento de datos ecosistemas Big Data se clasifican en los siguientes bloques:

 

Batch – procesamiento por lotes

  • Hadoop Map-reduce: motor de procesamiento batch o por lotes.

Streaming – procesamiento en tiempo real

  • Apache Storm
  • Apache Samza
  • IBM InfoSphere
  • Apache S4 (Yahoo)
  • Apache Tez

Hibrid- procesamiento híbrido

  • Apache Spark Streaming: motor de procesamiento batch con funciones streaming mediante micro-batches. Utiliza una arquitectura lambda 
  • Apache Flink: motor de procesamiento streaming donde el procesamiento bach es un caso particular de streaming. Utiliza una arquitectura Kappa.

Otros artículos que pueden ser de interés:

Autor: Diego Calvo