Prerequisitos

• Tener instalado Java 8.

Descargar e instalar Apache Kakfa

Descargar la última version de Apache Kafka o bien usar

cd /home/haddop/Descargas
wget http://apache.rediris.es/kafka/2.0.0/kafka_2.11-2.0.0.tgz

Nota: Si prefieres trabajar con Docker y tener más de un broker, clona este repositorio y sigue las instrucciones para tener un nodo de Zookeeper y varios de Kafka. NO es IMPRESCINDIBLE para este post -> https://github.com/semurat/kafka-stack-docker-compose

Descomprimir el fichero descargado

tar xvf kafka_2.11-2.0.0.tgz

Mover la carpeta generada a el directorio donde tenemos los programas de hadoop “/opt” (usando root)

su -
mv /home/hadoop/Descargas/kafka_2.11-2.0.0 /opt/kafka

Modificar variables de entorno

Incorporamos al Path kafka para que pueda ser llamado desde cualquier punto

gedit /home/hadoop/.bashrc

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin:$KAFKA_HOME/config

Nota: Es necesario hacer que se apliquen los cambios

cd /home/hadoop
. ./.bashrc

Nota: para comprobar que nos reconoce las rutas de kafka podemos escribir kafka y ver que autocompleta.

Arrancar servicios

Iniciar zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

Iniciar Kafka

bin/kafka-server-start.sh config/server.properties