Big data – Frameworks de procesamiento de datos

Los frameworks de procesamiento de datos ecosistemas Big Data se clasifican en los siguientes bloques:

 

Procesamiento por lotes – Batch

  • Hadoop Map-reduce: motor de procesamiento batch o por lotes.

Procesamiento en tiempo real – Streaming

  • Apache Storm
  • Apache Samza
  • IBM InfoSphere
  • Apache S4 (Yahoo)
  • Apache Tez

Procesamiento hibrido – Hibrid

  • Apache Spark Streaming: motor de procesamiento batch con funciones streaming mediante micro-batches. Utiliza una arquitectura lambda 
  • Apache Flink: motor de procesamiento streaming donde el procesamiento bach es un caso particular de streaming. Utiliza una arquitectura Kappa.

Otros artículos que pueden ser de interés:

Autor: Diego Calvo