Big data – Frameworks de procesamiento de datos

Los frameworks de procesamiento de datos ecosistemas Big Data se clasifican en los siguientes bloques:   Batch – procesamiento por lotes Hadoop Map-reduce: motor de procesamiento batch o por lotes. Streaming – procesamiento en tiempo real Apache Storm Apache Samza IBM InfoSphere Apache S4 (Yahoo) Apache Tez Hibrid- procesamiento híbrido Apache Spark Streaming: motor de…

Read More »

Arquitectura Lambda (combinación de procesamiento batch y stream)

Antes de centrarnos en la arquitectura Lambda es conveniente especificar los dos tipos de procesamiento de datos que la componen: El procesamiento de datos en modo batch, es aquel que nos permite procesar volúmenes de datos en tiempos espaciados, por ejemplo cada 10 minutos, 1 hora o diario. Para ello el sistema dispone de lotes o batch…

Read More »