Leer ficheros csv grandes en R

Leer ficheros de gran tamaño puede acarrear dolores de cabeza si nos centramos en la velocidad de lectura.logo-r

Para resolver este problema se muestra a continuación una comparativa de los tiempo empleado en leer el fichero “database.csv” de tamaño: 14,5Mb con 53.641 filas y 21 variables.

 

Paquete utils: recomendado

library(data.table)
system.time(b <- fread('data/database.csv', header = T, sep = ';')) 
# user system elapsed 
# 0.198 0.030 0.484

Paquete sqldf

library(sqldf)
system.time(c <- read.csv.sql('data/database.csv', sep = ';'))
# user system elapsed 
# 1.929 0.315 2.438

Paquete utils: más comúnmente utilizado viene preinstalado

system.time(a <- read.csv('data/database.csv', header = T, sep = ';'))
# user system elapsed 
# 2.492 0.086 2.691

Otros artículos que pueden ser de interés:

Autor: Diego Calvo