Comparativa Kafka, Flume y RabbitMQ

por | Jul 3, 2018 | Big data | 3 Comentarios

Apache Kafka

Apache Flume

RabbitMQ

DefiniciónApache Kafka es un bus de mensajes optimizado para los flujos de datos de alta entrada y la repeticiónApache Flume es un servicio distribuido que mueve de forma fiable y eficiente grandes cantidades de datos, especialmente logsRabbitMQ es un sistema de colas de mensajes MQ que permite comunicarse a multitud de actores entre ellos de forma rápida, segura, asíncrona y fiable
Destacable

Actúa de amortiguador entre productores y consumidores, ideal para absorber picos de carga.

Diferentes grupos de consumidores pueden consumir mensajes a diferente ritmo.

Proporciona alta velocidad de respuesta.

Especializado en datos de logs.

Recolección y agregación de logs de forma sencilla.

Ingesta en multitud de formatos

Trabajos en segundo plano donde se precise un alto rendimiento, fiabilidad, comunicación y la integración dentro y entre las aplicaciones.

Se centra en las garantías de entrega entre productores y consumidores

VolumenGrandes: 100k eventos/segMenores: 20k eventos/segMenores: 20k eventos/seg
Baja latenciaAlto rendimientoAlto rendimientoNo soporta
Licencia Open Source: Licencia Apache 2.0Open Source: Licencia Apache 2.0Open Source: Licencia Pública Mozilla
Desarrollado en Scala (JVM)JavaErlang
Lenguajes que soporta Ruby, Python, Java y Node.jsRuby, Python, Node.js, Clojure, Go, Java y C
Lectura de datos

(Source)

 

Proporciona multitud de conectores que le hacen conectarse a casi cualquier fuente de datos. Ejemplo: ActiveMQ, IBM MQ, JDBC, JMS, ReplicatorMultitud de formatos y aplicaciones:

JMS, HTTP, Kafka, IRC, Solr, Kite y Custom

Específicos de logs: Avro, Thrift, Syslog y Netcat

Avro, Binary, CSV, MySQL, Postgres, JSON, Log, Protobuf, SDC Record, Text, XML
Escritura de datos

(sink)

Proporciona multitud de conectores que le hacen almacenar los datos en cualquier sitio. Ejemplo: HDFS, Amazon S3, Elasticsearch, JDBCHDFS, HBase, Logger, File Roll, Null y ElasticSearchHDFS
colas federados NoNo
Enrutamiento complejo NoNo
Escalamiento horizontal verticalvertical
ProtocolosPropioVarios: AMQP y JMS
Replicación de eventosSiNoSi

 

3 Comentarios

  1. Roberto Galan

    Eres un crack!! que tal te va todo tío? me he topado con tu pedazo de web. enhorabuena y animo para continuar.

    A ver si hablamos y nos contamos. Un abrazo!!

    Responder
    • Diego Calvo

      Buenas Rober, que bueno encontrar noticias tuyas por el blog después de tanto tiempo.
      Un abrazo!!!

      Responder
  2. Diego Guerrero

    Muchas gracias por tomarte el tiempo de realizar tal aporte.

    Responder

Enviar un comentario

Tu dirección de correo electrónico no será publicada.