por Diego Calvo | Ene 16, 2018 | Python
La normalización aplicada en este caso sigue la siguiente formula: normalización = ( x – min(x) ) / ( max(x) – min(x) ) import pandas as pd from sklearn.preprocessing import MinMaxScaler x1 = [1,2,3,4,5] x2 = [1,2,3,4,5] x3 = [1,2,3,4,5] df =... por Diego Calvo | Ene 16, 2018 | Python
La estandarización aplicada en este caso sigue la siguiente formula: normalización = ( x – media ) / desviación típica from scipy import stats import numpy as np from scipy import stats import numpy as np x1 = [1,2,3,4,5] x2 = [1,2,3,4,5] x3 = [1,2,3,4,5] df =... por Adrian Atienza | Dic 24, 2017 | Python, Spark
Cargar datos # Cargar un dataframe df = sqlContext.read.format(«com.databricks.spark.csv»).options(delimiter=’\t’,header=’true’,inferschema=’true’).load(«/databricks-datasets/power-plant/data») display(df) AT V AP RH PE 14.96 41.76... por Diego Calvo | Nov 24, 2017 | Python, Spark
Datos json usados para el análisis %fs head /databricks-datasets/structured-streaming/events/file-0.json {“time”:1469501107,”action”:”Open”} {“time”:1469501147,”action”:”Open”} {“time”:1469501202,”action”:”Open”} {“time”:1469501219,”action”:”Open”}... por Diego Calvo | Nov 23, 2017 | Python, Spark
Datos json usados para el análisis %fs head /databricks-datasets/structured-streaming/events/file-0.json {«time»:1469501107,»action»:»Open»} {«time»:1469501147,»action»:»Open»} {«time»:1469501202,»action»:»Open»} {«time»:1469501219,»action»:»Open»}... por Diego Calvo | Nov 23, 2017 | Python, Spark
Ordenar los 5 primeros elementos del RDD print (rdd.takeOrdered(5)) [1, 1, 1, 1, 2] Ordenar inversamente los 5 primeros elementos del RDD print(rdd.takeOrdered(5, lambda x: -x)) [4, 3, 3, 2, 2] Ordena todo el RDD y devuelve otro RDD rdd_aux = rdd.sortBy(lambda x: x)...
