Big Data

Definición de Big Data

El termino big data o datos masivos hacer referencia a un volumen de datos que superaba las capacidades del software habitualmente usado para ver capturar, administrar y procesar datos.

Como la capacidad de computo es cada vez más elevada y la cifra a partir de la que se considera un conjunto de datos como big data va en aumento, en 2012 ya se fijaba la frontera en 12 terabytes.Hadoop logo

Todo esto no hubiera sido posible sino fuera por Hadoop, un sistema que permite implementar sobre hardware a un costo relativamente bajo, para el análisis de grandes volúmenes de datos de los tres tipos de datos existentes (estructurados, no estructurados y semiestructurados).Spark logo

Cabe mencionar la importancia que está adquiriendo Spark como evolución de Hadoop.

 

Evolución temporal de herramientas big data

linea temporal big data

linea temporal big data

 

Procesamiento big data

El procesamiento de grandes volúmenes de datos se divide en varias fases, a continuación se muestran cada una de ellas así como las herramientas más importantes para cada una de ellas:

Ingesta

Transformación

Procesamiento

Almacenamiento

Visualización

  • Jupyter, Zeppelin, Google Chart, D3.js, Plotty, Kibana, Shiny, Grabana, Loggy, Splunk, Tableau, QLink, Google Cloud Platform, Power Bi, …

 

Plataformas de gestión de big data

Plataformas comerciales

  • Cloudera
  • Hortonworks
  • MapR
  • Pivotal

Plataformas comerciales en la nube

  • Amazon Web Service
  • Microsoft Azure
  • Google Cloud Platform
  • IBM InfoSphere

 

 

 

 

Otros artículos que pueden ser de interés:

Autor: Diego Calvo