Diego Calvo Logo
  • BI
    • Inteligencia de negocio
    • Data Warehouse
    • Minería de datos
    • Cuadro de mando
    • Pentaho
  • Big Data
    • Ingesta de datos
      • Flume
      • Sqoop
      • Nifi
    • Sistemas de mensajería
      • Kafka
      • RabbitMQ
    • Procesamiento de datos
      • Storm (streaming)
      • Spark Streaming (híbrido)
      • Flink (híbrido)
    • Almacenamiento de datos
      • HDFS
      • Hive
      • HBase
      • ElasticSearch
    • Búsqueda de datos
      • Solr
      • Elasticsearch
    • Visualización de datos
      • Kivana
    • Gestión del cluster
      • Yarn
    • Configuración del cluster
    • Otros: Seguridad, Machine Learning, etiquetado, …
      • Kerberos
  • BBDD
    • Base de datos Relacionales
    • Bases de datos NoSql
      • Clave-valor
      • Columnas
      • Documentos
      • Grafos
  • Machine Learning
    • Aprendizaje supervisado
      • Redes Neuronales
    • Aprendizaje no supervisado
      • Análisis Cluster
      • Redes Neuronales
  • Metodologías
    • Metodologías ágiles
      • SCRUM
      • KANBAN
      • XP Programación Extrema
  • Programación
    • R
    • Spark – Python
    • Spark – Scala
    • Neo4j
    • MongoDB
    • Power Bi
  • Más
    • Coaching
    • Bioinformática
      • Red neuronal
      • Red Neuronal Convolucional CNN
    • Cloud
    • Inglés
    • Estadísticos básicos
    • Ocio
    • Trucos
    • Mis estadísticas Web

Procesar datos en tiempo real (streaming) en Scala

por Diego Calvo | Sep 6, 2018 | Big data, Scala, Spark

Prerequisitos Limpiar todos los hdfs generados, utilizando la linea de comandos hdfs dfs -rm -r /streaming hdfs dfs -mkdir /streaming hdfs dfs -ls /streaming Generar datos usados para iniciar el análisis Se genera una serie de datos en formato json que se almacenan en...

Procesamiento en tiempo real (streaming) Apache Spark en Python

por Diego Calvo | Nov 24, 2017 | Python, Spark

Datos json usados para el análisis %fs head /databricks-datasets/structured-streaming/events/file-0.json {“time”:1469501107,”action”:”Open”} {“time”:1469501147,”action”:”Open”} {“time”:1469501202,”action”:”Open”} {“time”:1469501219,”action”:”Open”}...
Suscribete al canal de Diego Calvo de Datos
Diego Calvo Data Scientist

Mi filosofía

Si te dedicas a lo que te entusiasma
y haces las cosas con pasión,
no habrá nada que se te resista.

Contacto

Puedes contactar mediante el formulario

LinkedIn de Diego Calvo Youtube de Diego Calvo Research Gate de Diego CalvoHitHub de Diego CalvoTwitter de Diego Calvo

Aviso legal

© 2015 Todos los derechos reservados

Aviso Legal – Politica de Privacidad