Dividir un CSV es fácil de hacer mal. El comando obvio, split -l, corta el archivo en trozos de tantas líneas y te deja un trozo con encabezado y diecinueve sin él, más algunas filas partidas por la mitad donde un campo tenía un salto de línea. Las herramientas de abajo evitan ambas cosas, y algunas dividen por el valor de una columna en vez de por cantidad, que muchas veces era lo que querías desde el principio.
La respuesta rápida
- En trozos de N filas, con el encabezado en cada uno:
qsv split -s 100000 out/ big.csv, omlr --csv split -n 100000 big.csv. - Un archivo por cada valor de una columna (por región, por mes):
mlr --csv split -g region big.csv. - Sin herramientas instaladas: el bucle con
tail+splitde más abajo, siempre que ningún campo contenga un salto de línea. - Solo para quedar por debajo del límite de Excel: puede que ni siquiera necesites dividir. Mira el final de esta página.
Antes de dividir: ¿para qué?
El método correcto depende de para qué sean los trozos.
- Una hoja de cálculo no lo abre. Excel se detiene en 1 048 576 filas. Dividir funciona, pero cada pregunta que abarque todo el archivo ahora necesita todos los trozos. Abrir el archivo completo suele ser mejor.
- Un límite de subida o de correo. Divide por tamaño. Las filas no importan, mientras cada trozo tenga encabezado.
- Distintas personas necesitan distintas partes. Divide por una columna: un archivo por equipo, cliente o mes. Este es el caso en que dividir es claramente lo correcto.
- Una importación por lotes que acepta 10 000 filas a la vez. Divide por cantidad.
Dividir por número de filas, conservando el encabezado
qsv (o su predecesor xsv) es un único binario hecho para esto:
qsv split -s 100000 out/ big.csv
Eso escribe out/0.csv, out/100000.csv, y así sucesivamente, cada uno con el encabezado
y hasta 100 000 filas de datos. Analiza el CSV correctamente, así que un campo entre comillas
que contiene un salto de línea se queda en un solo trozo.
Miller hace lo mismo y nombra los archivos split_1.csv, split_2.csv:
mlr --csv split -n 100000 big.csv
Dividir por el valor de una columna
Esta es la división más útil, y la que el split simple no puede hacer:
mlr --csv split -g region big.csv
Obtienes split_East.csv, split_West.csv y así sucesivamente, uno por cada valor distinto,
cada uno con el encabezado. Para agrupar por dos columnas usa -g region,year.
DuckDB escribe lo mismo como una carpeta por valor, lo que conviene para archivos muy grandes porque trabaja en flujo en vez de cargar todo:
duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"
El resultado es by_region/region=East/data_0.csv y así sucesivamente. Ten en cuenta que la
columna de partición se omite de los archivos por defecto, ya que está en el nombre de la carpeta;
agrega WRITE_PARTITION_COLUMNS true para conservarla.
Sin herramientas instaladas
En un Mac o en Linux lo hacen comandos de shell normales, con una condición:
ningún campo del archivo puede contener un salto de línea. Compruébalo abriéndolo en
algo que analice CSV y comparando el número de filas con wc -l.
tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done
La primera línea quita el encabezado y divide el resto. La segunda vuelve a poner el encabezado en cada trozo. Si tus filas tienen campos entre comillas de varias líneas, esto cortará algunas por la mitad: usa qsv o Miller.
En Windows, PowerShell puede hacerlo sin instalar nada, pero para un archivo grande una herramienta de CSV es mucho más rápida. El mismo comando de qsv funciona allí.
En Python
import pandas as pd
reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
chunk.to_csv(f"part_{i}.csv", index=False)
Los dos argumentos adicionales importan. Sin dtype=str, pandas adivina los tipos y
convierte sin avisar 00742 en 742 y los ID largos en números decimales; sin
keep_default_na=False, el texto NA se convierte en una celda vacía. Dividir nunca
debería cambiar un valor.
Dividir a un tamaño objetivo
Ninguna herramienta común divide un CSV en exactamente 10 MB, porque el corte tiene que caer entre filas. Estima en su lugar: divide el tamaño del archivo entre el número de filas para obtener los bytes por fila, y luego elige un número de filas que quede por debajo del límite.
Un archivo de 900 MB con 3 000 000 de filas son unos 300 bytes por fila, así que 30 000 filas son aproximadamente 9 MB por trozo. Deja algo de margen: no todas las filas miden lo mismo.
Comprueba el resultado
Dos comprobaciones detectan casi todos los errores al dividir:
- Las filas cuadran. Las filas de datos de todos los trozos suman las del
original.
qsv countomlr --icsv --opprint counten cada uno da el número sin el encabezado. - Todos los trozos tienen el mismo encabezado, en el mismo orden. Abre dos trozos al azar y mira la primera línea.
Para volver a juntarlos después, combinar archivos CSV es la operación inversa, y tiene sus propias trampas con los encabezados repetidos.
Cuando no necesitabas dividir
Si el motivo era "Excel no lo abre", los trozos harán más difíciles todas las preguntas posteriores: un total del año ahora significa sumar doce archivos. Una herramienta que abra el archivo completo suele ser la mejor solución. En un ordenador eso significa DuckDB o Power Query, como se explica aquí.
En un móvil, significa una app que no se detenga en un límite de filas y que te deje acotar el archivo a la parte que necesitas sin generar trozos.
Abre el archivo completo en iPhone o Android y luego lo filtra con un filtro visual o con SQL, para que leas una región o un mes sin dividir nada.
Qué hace