mygems

Cómo dividir un archivo CSV grande en archivos más pequeños

split -l pierde el encabezado y parte filas. Así se divide un CSV por número de filas o valor de columna, con encabezado en cada trozo.

Por mygems ·

Dividir un CSV es fácil de hacer mal. El comando obvio, split -l, corta el archivo en trozos de tantas líneas y te deja un trozo con encabezado y diecinueve sin él, más algunas filas partidas por la mitad donde un campo tenía un salto de línea. Las herramientas de abajo evitan ambas cosas, y algunas dividen por el valor de una columna en vez de por cantidad, que muchas veces era lo que querías desde el principio.

La respuesta rápida

  • En trozos de N filas, con el encabezado en cada uno: qsv split -s 100000 out/ big.csv, o mlr --csv split -n 100000 big.csv.
  • Un archivo por cada valor de una columna (por región, por mes): mlr --csv split -g region big.csv.
  • Sin herramientas instaladas: el bucle con tail + split de más abajo, siempre que ningún campo contenga un salto de línea.
  • Solo para quedar por debajo del límite de Excel: puede que ni siquiera necesites dividir. Mira el final de esta página.

Antes de dividir: ¿para qué?

El método correcto depende de para qué sean los trozos.

  • Una hoja de cálculo no lo abre. Excel se detiene en 1 048 576 filas. Dividir funciona, pero cada pregunta que abarque todo el archivo ahora necesita todos los trozos. Abrir el archivo completo suele ser mejor.
  • Un límite de subida o de correo. Divide por tamaño. Las filas no importan, mientras cada trozo tenga encabezado.
  • Distintas personas necesitan distintas partes. Divide por una columna: un archivo por equipo, cliente o mes. Este es el caso en que dividir es claramente lo correcto.
  • Una importación por lotes que acepta 10 000 filas a la vez. Divide por cantidad.

Dividir por número de filas, conservando el encabezado

qsv (o su predecesor xsv) es un único binario hecho para esto:

qsv split -s 100000 out/ big.csv

Eso escribe out/0.csv, out/100000.csv, y así sucesivamente, cada uno con el encabezado y hasta 100 000 filas de datos. Analiza el CSV correctamente, así que un campo entre comillas que contiene un salto de línea se queda en un solo trozo.

Miller hace lo mismo y nombra los archivos split_1.csv, split_2.csv:

mlr --csv split -n 100000 big.csv

Dividir por el valor de una columna

Esta es la división más útil, y la que el split simple no puede hacer:

mlr --csv split -g region big.csv

Obtienes split_East.csv, split_West.csv y así sucesivamente, uno por cada valor distinto, cada uno con el encabezado. Para agrupar por dos columnas usa -g region,year.

DuckDB escribe lo mismo como una carpeta por valor, lo que conviene para archivos muy grandes porque trabaja en flujo en vez de cargar todo:

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

El resultado es by_region/region=East/data_0.csv y así sucesivamente. Ten en cuenta que la columna de partición se omite de los archivos por defecto, ya que está en el nombre de la carpeta; agrega WRITE_PARTITION_COLUMNS true para conservarla.

Sin herramientas instaladas

En un Mac o en Linux lo hacen comandos de shell normales, con una condición: ningún campo del archivo puede contener un salto de línea. Compruébalo abriéndolo en algo que analice CSV y comparando el número de filas con wc -l.

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

La primera línea quita el encabezado y divide el resto. La segunda vuelve a poner el encabezado en cada trozo. Si tus filas tienen campos entre comillas de varias líneas, esto cortará algunas por la mitad: usa qsv o Miller.

En Windows, PowerShell puede hacerlo sin instalar nada, pero para un archivo grande una herramienta de CSV es mucho más rápida. El mismo comando de qsv funciona allí.

En Python

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

Los dos argumentos adicionales importan. Sin dtype=str, pandas adivina los tipos y convierte sin avisar 00742 en 742 y los ID largos en números decimales; sin keep_default_na=False, el texto NA se convierte en una celda vacía. Dividir nunca debería cambiar un valor.

Dividir a un tamaño objetivo

Ninguna herramienta común divide un CSV en exactamente 10 MB, porque el corte tiene que caer entre filas. Estima en su lugar: divide el tamaño del archivo entre el número de filas para obtener los bytes por fila, y luego elige un número de filas que quede por debajo del límite.

Un archivo de 900 MB con 3 000 000 de filas son unos 300 bytes por fila, así que 30 000 filas son aproximadamente 9 MB por trozo. Deja algo de margen: no todas las filas miden lo mismo.

Comprueba el resultado

Dos comprobaciones detectan casi todos los errores al dividir:

  1. Las filas cuadran. Las filas de datos de todos los trozos suman las del original. qsv count o mlr --icsv --opprint count en cada uno da el número sin el encabezado.
  2. Todos los trozos tienen el mismo encabezado, en el mismo orden. Abre dos trozos al azar y mira la primera línea.

Para volver a juntarlos después, combinar archivos CSV es la operación inversa, y tiene sus propias trampas con los encabezados repetidos.

Cuando no necesitabas dividir

Si el motivo era "Excel no lo abre", los trozos harán más difíciles todas las preguntas posteriores: un total del año ahora significa sumar doce archivos. Una herramienta que abra el archivo completo suele ser la mejor solución. En un ordenador eso significa DuckDB o Power Query, como se explica aquí.

En un móvil, significa una app que no se detenga en un límite de filas y que te deje acotar el archivo a la parte que necesitas sin generar trozos.

CSV File Viewer - Smart CSViPhone y iPad · Android

Abre el archivo completo en iPhone o Android y luego lo filtra con un filtro visual o con SQL, para que leas una región o un mes sin dividir nada.

Qué hace

Preguntas

¿Cómo divido un archivo CSV grande en archivos más pequeños?
Usa una herramienta que entienda CSV y copie el encabezado en cada trozo: qsv split -s 100000 out/ big.csv, o mlr --csv split -n 100000 big.csv. El split -l simple solo sirve si vuelves a añadir tú el encabezado y ningún campo contiene un salto de línea.
¿Cómo divido un CSV y conservo el encabezado en cada archivo?
qsv split y el verbo split de Miller repiten el encabezado automáticamente. Con herramientas de shell simples, quita el encabezado con tail -n +2, divide el resto y luego antepón la primera línea del original a cada trozo.
¿Puedo dividir un CSV por los valores de una columna?
Sí. mlr --csv split -g region big.csv escribe un archivo por cada valor distinto de la columna region. El COPY de DuckDB con PARTITION_BY hace lo mismo en una carpeta por valor.
¿Por qué algunas filas quedan rotas después de dividir mi CSV?
Un campo contenía un salto de línea entre comillas, y una herramienta basada en líneas como split -l cortó la fila en dos. Usa una herramienta que analice CSV, como qsv o Miller, para que los saltos de línea entre comillas se queden dentro de su fila.
¿Cuántas filas puede abrir Excel de un CSV?
1 048 576 filas incluido el encabezado, por hoja de cálculo. Las filas que pasen de ahí no se cargan. Dividir el archivo funciona, pero abrirlo en una herramienta sin ese límite suele ser más útil.

mygems — Crea CSV Editor y Smart CSV Viewer, dos apps que existen porque las hojas de cálculo se rinden con los archivos grandes.