Instalar Hortonworks (Virtual Box) para Spark

Descarga

Instalación

Instalar primeramente Virtual box y una vez instalado ir a la máquina virtual de hortonworks y ejecutarla, con ello aparecerá una instalación de esta máquina en virtual box.

Configurar las características de la máquina, comentar que mínimamente necesita 8Gb de RAM.

 

Configuración Hortonworks

Una vez la máquina este arrancada nos saldrá un http en el shell indicando la ruta web para acceder. Ejemplo http://127.0.0.1:8888

Nota: en la versión HDP 2.6.5 la ruta es http://127.0.0.1:8080

hortonworks cargado

Al acceder al navegador obtendremos siguiente web.

hortonworks interface inicialUna vez aquí podemos acceder directamente a “NEW TO HDP” con user/pass = raj_ops/raj_ops o bien “ADVANCED HDP” y en cada uno de los servicios se puede ver el usuario y clave por defecto.

 

Configuración de interprete (Python o Scala)

Entrar en Zeppelin (http://127.0.0.1:8080) y en la parte superior derecha hay un icono de configuración para configurar los intérpretes.

Una vez allí modificar la ruta de Python para que el sistema sea capaz de encontrarlo.

 

Utilización con Zeppelin

Zeppelin proporciona un notebook (tipo Jupiter) donde podemos ejecutar nuestro código en diferentes lenguajes, basta con indicar en la primera linea el interprete a utilizar:

%spark2 => para scala
%spark2.pyspark => para python

Nota: Cambiar el password del administrador de Ambari

Otros artículos que pueden ser de interés:

Autor: Diego Calvo