Añadir columna en Dataframe en Scala

Añadir columna de unos Se suele añadir una coñumna de unos para en posteriores operaciones de reduce realizar recuentos por agrupación. val df = Seq( («id1», 1), («id1», 2), («id1», 3), («id1», 4), («id2», 1), («id2», 2), («id2», 3), («id3», 1), («id3», 2) ).toDF(«id», «valor») val df_plus = df.withColumn(«new_column», lit(1)) df_plus.show() +—+—–+———-+ | id|valor|new_column| +—+—–+———-+…

Read More »

Proyecciones en almacén de datos en columnas

Las proyecciones consisten en guardar duplicados ordenados por uno o varios criterios, con el objetivo principal de mejorar el rendimiento de los accesos por valor a los datos en el caso de operaciones de consulta (ejecución de sentencias SELECT). La base de datos Vertica permite almacenar tantas proyecciones sobre grupos de columnas como se desee,…

Read More »

Almacenes en columnas

Los almacenes de datos en columnas, son un tipo de base de datos relacional. En esencia consiste en partir la tabla lógica en tantos fragmentos como columnas tenga la tabla lógica. Cada elemento de la tabla inicial estará formado por los datos colocados la posición i-esima (indicadores de filas implícitos o implicit rowid), es decir…

Read More »