Arquitectura Lambda (combinación de procesamiento batch y stream)

Antes de centrarnos en la arquitectura Lambda es conveniente especificar los dos tipos de procesamiento de datos que la componen:

El procesamiento de datos en modo batch, es aquel que nos permite procesar volúmenes de datos en tiempos espaciados, por ejemplo cada 10 minutos, 1 hora o diario. Para ello el sistema dispone de lotes o batch en el que almacena toda la información que va obteniendo hasta completar un periodo.

Un ejemplo de este tipo de procesamiento pueden ser las transacciones de venta del producto a lo largo de un periodo sobre el que luego realizar el procesamiento. Si el volumen de datos es elevado, este procesamiento podría demorarse varios minutos o incluso horas, y en este caso en particular es probable que quienes tomen decisiones estén dispuestos a esperar ese tiempo para poder hacerlo.

El procesamiento de datos en modo stream o tiempo semi-real, es aquel que necesita procesar volúmenes de datos en tiempos lo más parecido a tiempo real que se pueda, hablamos de ordenes de 100 mili segundos a segundos.

Un ejemplo típico de este tipo de procesamiento pueden ser la operaciones bursátiles en la que un instante de tiempo puede ser crucial a la hora de tomar una decisión.

 

La arquitectura Lambda combina el procesamiento de datos: “batch” y “stream”, buscando las ventajas que nos ofrece cada uno de ellos.

Esta arquitectura se ha desarrollado enormemente con la llegada del big datada que proporciona una solución de bajo costo para problemas de procesamiento complejos.

Arquitectura Lambda

Arquitectura Lambda

Autor: Diego Calvo