Configurar clúster Hadoop (+ herramientas Big Data)

Instalar y configurar un clúster Hadoop Pseudo-Distribuido (un solo nodo) Instalar la máquina Virtual Java. Instalar Hadoop. Configurar las variables de entorno. Configurar SSH Modificar ficheros de configuración Crear directorio de datos, donde almacenar HDFS Iniciar servicio de HDFS Configurar Yarn Arrancar servicios Yarn   Instalar y configurar de HBase Descargar HBase Configurar variables de…

Autor: Diego Calvo

Read More »

Big data – Herramientas de gestión del cluster

Gestores de aplicaciones y recursos big data Hadoop Map-Reduce es un gestor de recursos distribuidos y procesamiento de datos. Proporciona una infraestructura de programación que proporciona algoritmos para realizar los cálculos distribuidos. YARN es un sistema operativo de datos y gestor de recursos distribuido. Evolución de Map-Reduce. Puede ejecutarse en Linux y Windows. Standalone es…

Autor: Diego Calvo

Read More »

Herramientas de ingesta de datos – Big data

Las herramientas de ingesta de datos para ecosistemas Big Data se clasifican en los siguientes bloques: Apache Nifi: herramienta ETL que se encarga de cargar datos de diferentes fuentes, los pasa por un flujo de procesos para su tratamiento, y los vuelca en otra fuente. Apache Sqoop: transferencia bidireccional de datos entre Hadoop y una…

Autor: Diego Calvo

Read More »

Big data – Herramientas de visualización de datos

Las herramientas de visualización de datos para ecosistemas Big Data se clasifican en los siguientes bloques:   Notebooks Jupyter Zeppelin Librerías gráficas Google Chart D3.js Plotty Herramientas de análisis gráfico Kibana Shiny Grabana Loggy Herramientas propietarias Splunk Tableau QLink Google Cloud Platform Power BI Autor: Diego Calvo

Autor: Diego Calvo

Read More »

Sistemas de mensajería – Big data

Los sistemas de mensajería proporcionan un canal de comunicación entre aplicaciones del ecosistema big data, esto sistemas suele implementar sistemas de colas, tales como: Apache Kafka: sistema de itermediación de mensajes basado en el modelo publicador/subcriptor. RabbitMQ: sistema colas de mensajes (MQ) que actua de middleware entre productores y consumidores. Amazon Kinesis: homlogo de Kafka…

Autor: Diego Calvo

Read More »

Elasticsearch

Definición de Elasticsearch Elasticsearch es un servidor de búsqueda open-source en tiempo real que proporciona almacenamiento indexado y distribuido basado en Lucene. Proporciona toda la potencia de búsqueda de Lucene para búsquedas de texto completo, pero simplifica las consultas a través de su a interfaz web RestFul.   Características Permite explotación de datos a gran escala….

Autor: Diego Calvo

Read More »

Cluster No Jerárquico (Partitioning Cluster) en R

Definición Los métodos no jerárquicos categorizan los elementos según un número de cluster dado. Necesitan que el número de particiones esté fijado a priori.   Herramientas de cluster no jerárquicos en R Cálculo del número óptimo de clusters en R Package NbClust implementa 30 indices para evaluar la estructura de los clusters y ayudar a…

Autor: Diego Calvo

Read More »

Herramientas prácticas de la inteligencia emocional

Autoconocimiento Lo más importante para controlar nuestras emociones es conocerse a si mismo, tomar conciencia de nuestras propias reacciones corporales frente a las emociones por que junto a lo que sentimos, el cuerpo emite señales de alerta a nivel físico como la sudoración, respiración acelerada,… y a nivel cerebral, como falta de concentración o bloqueo. Debemos de ser capaces…

Autor: Diego Calvo

Read More »

Herramientas básicas de la programación Neurolingüística

Mapas Mentales Consiste en una representación de la realidad de la persona de forma gráfica, donde visualmente se estructuren lo que se desea analizar, de tal manera que sirva para mentalmente la persona puede estructurar sus pensamientos y transmitirlos de forma visual a los demás, para posteriormente poder analizarlos. Sistemas Representativos Sistema VAK, hace referencia a los…

Autor: Diego Calvo

Read More »