Apache Sqoop

Definición de Sqoop Apache Sqoop es una herramienta de línea de comandos desarrollada para transferir grandes volúmenes de datos de bases de datos relacionarles a Hadoop, de ahí su nombre que viene de la fusión de SQL y Hadoop. Concretamente transforma datos relacionarles en Hive o HBase en una dirección y en la otra de…

Autor: Diego Calvo

Read More »

Apache Solr

Definición de Solr Apache Solr es un motor de búsqueda implementado en Java, basado en Lucene, con una API REST (XML/HTTP) y otra JSON. Solr tiene como objetivo mejorar las búsquedas y la navegabilidad de los sitios web de elevado volumen de tráfico. Este motor de búsqueda Solr es altamentente escalable y tolerante a fallos. Proporcionando indexación…

Autor: Diego Calvo

Read More »

Spark Streaming (procesamiento por lotes y tiempo real)

Definición de Spark Streaming Apache Spark Streaming es una extensión de la API core de Spark, que da respuesta al procesamiento de datos en tiempo real de forma escalable, con alto rendimiento y tolerancia a fallos. Spark Sreaming fue desarrollado por la Universidad de California en Berkeley, actualmente Databrinks la que se encarga de dar…

Autor: Diego Calvo

Read More »

Apache Flink (procesamiento por lotes y tiempo real)

Definición de Flink Apache Flink es un motor nativo de procesamiento de flujos de datos de baja latencia, que proporciona capacidades de distribución de datos comunicación y tolerancia a fallos. Flink fue desarrollado en Java y Scala por la Universidad Técnica de Berlin y actualmente es la start-up Data Artisans la que se encarga de…

Autor: Diego Calvo

Read More »

Storm

Definición de Storm Apache Storm es un sistema de computación distribuida en tiempo real de baja latencia y de alta disponibilidad basado en la arquitectura maestro-esclavo. Storm es ideal para trabajar con datos que necesitan ser analizados en tiempo real donde la latencia es una variable a tener muy en consideración, ejemplo de ello serían…

Autor: Diego Calvo

Read More »

RabbitMQ

Definición de RabbitMQ RabbitMQ es un sistema de colas de mensajes MQ que permite comunicarse a multitud de actores entre ellos de forma rápida, segura, asíncrona y fiable. RabbitMQ actúa como middleware entre productores y consumidores de mensajes.   Características Garantiza la entrega y orden de los mensajes que se consumen, respetando el orden de llegada…

Autor: Diego Calvo

Read More »

Apache Flume

Definición de Flume Apache Flume es un servicio distribuido que mueve de forma fiable y eficiente grandes cantidades de datos, especialmente logs. Ideal para aplicaciones de analíticas en línea en entornos Hadoop. Flume tiene una arquitectura sencilla y flexible basada en flujos de datos en streaming, que permite construir flujos de múltiples por donde viajan los…

Autor: Diego Calvo

Read More »

Apache Nifi

Definición de Nifi Apache NiFi es una plataforma integrada de procesamiento y logística de datos en tiempo real, para automatizar el movimiento de datos entre diferentes sistemas de forma rápida, fácil y segura. Apache Hifi es una herramienta ETL que se encarga de cargar datos de diferentes fuentes, los pasa por un flujo de procesos…

Autor: Diego Calvo

Read More »

Elasticsearch

Definición de Elasticsearch Elasticsearch es un servidor de búsqueda open-source en tiempo real que proporciona almacenamiento indexado y distribuido basado en Lucene. Proporciona toda la potencia de búsqueda de Lucene para búsquedas de texto completo, pero simplifica las consultas a través de su a interfaz web RestFul.   Características Permite explotación de datos a gran escala….

Autor: Diego Calvo

Read More »

Metodologías ágiles

Características de metodologías Ágiles Desarrollo incremental, en lugar de la planificación y ejecución completa del producto. La calidad del resultado depende de la valía del conocimiento innato de los equipos auto organizados, más que de la calidad de los procesos empleados. Solapamiento de las diferentes fases de desarrollo. Repetición de iteraciones de forma continua hasta que el cliente da por…

Autor: Diego Calvo

Read More »