Añadir columna en Dataframe en Scala

Añadir columna de unos Se suele añadir una coñumna de unos para en posteriores operaciones de reduce realizar recuentos por agrupación. val df = Seq( («id1», 1), («id1», 2), («id1», 3), («id1», 4), («id2», 1), («id2», 2), («id2», 3), («id3», 1), («id3», 2) ).toDF(«id», «valor») val df_plus = df.withColumn(«new_column», lit(1)) df_plus.show() +—+—–+———-+ | id|valor|new_column| +—+—–+———-+…

Read More »

Disparadores CDC – Change Data Capture

Los disparadores CDC – Change Data Capture o identificación, captura y procesamiento de datos, son los únicos disparadores que se aceptan en entornos data warehouse, su misión consiste en reflejar los cambios realizados en las tablas origen, no esto se consigue tener en tablas de logs de todos los cambios que se van produciendo. La…

Read More »

Uso de Frames en R

Los Frames son estructuras que admiten diferentes tipos de datos en la misma estructura y que permiten operar con ellas siempre y cuando los tipos de datos lo permitan. datos<-matrix(c(20,65,174,22,70,180,19,68,170),nrow=3,byrow=T) dimnames(datos)<-list(c(«peter»,»juan»,»maria»), c(«edad»,»peso»,»altura»)) provincia<-c(«cadiz»,»soria»,»madrid») frame<-data.frame(datos,provincia) frame edad peso altura provincia peter 20 65 174 cadiz juan 22 70 180 soria maria 19 68 170 madrid mean(frame[,»edad»])…

Read More »

Data Warehouse

El Data warehouse es la base de datos corporativa que integra y depura la información de una o varias fuentes, la procesa y permite un análisis rápido y flexible de los datos. El data warehouse tiene asociado los siguientes conceptos: Hechos Los hechos son la representación en el data warehouse de los procesos de negocio de la organización. Por…

Read More »

Procesos ETL, Ejemplo de uso Pentaho Data Integration

Insertar datos de un fichero CSV a una BBDD Primeramente incluir el elemento «CSV file input» de la lista de la izquierda. Pulsar con el boton derecho sobre el elemento e incluir los campos tal y como se muestran en la imagen: Nota: el fichero de visitas se puede descargar de aquí. Nota: Tener en…

Read More »