mygems

Comment découper un gros fichier CSV en fichiers plus petits

split -l perd l'en-tête et coupe des lignes. Voici comment découper un CSV par nombre de lignes ou valeur de colonne, avec l'en-tête partout.

Par mygems ·

Découper un CSV, c'est facile à mal faire. La commande évidente, split -l, coupe le fichier en morceaux d'autant de lignes, et vous laisse un morceau avec en-tête et dix-neuf sans, plus quelques lignes coupées en deux là où un champ contenait un saut de ligne. Les outils ci-dessous évitent les deux, et certains découpent selon la valeur d'une colonne plutôt qu'au nombre de lignes, ce qui est souvent ce que vous vouliez au départ.

La réponse rapide

  • En morceaux de N lignes, avec l'en-tête dans chacun : qsv split -s 100000 out/ big.csv, ou mlr --csv split -n 100000 big.csv.
  • Un fichier par valeur d'une colonne (par région, par mois) : mlr --csv split -g region big.csv.
  • Aucun outil installé : la boucle tail + split plus bas, tant qu'aucun champ ne contient de saut de ligne.
  • Seulement pour passer sous la limite d'Excel : vous n'avez peut-être pas besoin de découper. Voir la fin de cette page.

Avant de découper : pourquoi ?

La bonne méthode dépend de l'usage des morceaux.

  • Un tableur n'ouvre pas le fichier. Excel s'arrête à 1 048 576 lignes. Découper fonctionne, mais chaque question portant sur l'ensemble du fichier demande désormais tous les morceaux. Ouvrir le fichier entier est en général préférable.
  • Une limite d'envoi ou d'e-mail. Découpez par taille. Les lignes importent peu, tant que chaque morceau a un en-tête.
  • Des personnes différentes ont besoin de parties différentes. Découpez par colonne : un fichier par équipe, client ou mois. C'est le cas où découper est clairement la bonne solution.
  • Un import par lots qui accepte 10 000 lignes à la fois. Découpez par nombre de lignes.

Découper par nombre de lignes, en gardant l'en-tête

qsv (ou son prédécesseur xsv) est un binaire unique conçu pour ça :

qsv split -s 100000 out/ big.csv

Cela écrit out/0.csv, out/100000.csv, etc., chacun avec l'en-tête et jusqu'à 100 000 lignes de données. Il analyse correctement le CSV : un champ entre guillemets contenant un saut de ligne reste d'un seul tenant.

Miller fait pareil, et nomme les fichiers split_1.csv, split_2.csv :

mlr --csv split -n 100000 big.csv

Découper selon la valeur d'une colonne

C'est le découpage le plus utile, et celui que le simple split ne sait pas faire :

mlr --csv split -g region big.csv

Vous obtenez split_East.csv, split_West.csv, etc., un par valeur distincte, chacun avec l'en-tête. Pour grouper selon deux colonnes, utilisez -g region,year.

DuckDB écrit la même chose sous forme d'un dossier par valeur, ce qui convient aux très gros fichiers puisqu'il traite en flux au lieu de tout charger :

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

Le résultat est by_region/region=East/data_0.csv, etc. Notez que la colonne de partition est omise des fichiers par défaut, puisqu'elle figure dans le nom du dossier ; ajoutez WRITE_PARTITION_COLUMNS true pour la garder.

Sans aucun outil installé

Sur Mac ou Linux, de simples commandes shell suffisent, à une condition : aucun champ du fichier ne doit contenir de saut de ligne. Vérifiez en l'ouvrant dans un outil qui analyse le CSV et en comparant le nombre de lignes avec wc -l.

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

La première ligne retire l'en-tête et découpe le reste. La seconde remet l'en-tête sur chaque morceau. Si vos lignes ont des champs entre guillemets sur plusieurs lignes, certaines seront coupées en deux : utilisez qsv ou Miller.

Sous Windows, PowerShell peut le faire sans rien installer, mais pour un gros fichier un outil CSV est bien plus rapide. La même commande qsv y fonctionne.

En Python

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

Les deux arguments supplémentaires comptent. Sans dtype=str, pandas devine les types et transforme discrètement 00742 en 742 et les longs identifiants en flottants ; sans keep_default_na=False, le texte NA devient une cellule vide. Un découpage ne doit jamais modifier une valeur.

Découper selon une taille cible

Aucun outil courant ne découpe un CSV à exactement 10 Mo, car la coupe doit tomber entre deux lignes. Estimez plutôt : divisez la taille du fichier par le nombre de lignes pour obtenir les octets par ligne, puis choisissez un nombre de lignes qui reste sous la limite.

Un fichier de 900 Mo avec 3 000 000 lignes fait environ 300 octets par ligne, donc 30 000 lignes font à peu près 9 Mo par morceau. Gardez une marge : les lignes n'ont pas toutes la même longueur.

Vérifier le résultat

Deux vérifications détectent presque tous les bugs de découpage :

  1. Les lignes se retrouvent. Les lignes de données de tous les morceaux égalent celles de l'original. qsv count ou mlr --icsv --opprint count sur chacun donne le nombre sans l'en-tête.
  2. Chaque morceau a le même en-tête, dans le même ordre. Ouvrez deux morceaux au hasard et regardez la première ligne.

Pour les rassembler plus tard, fusionner des fichiers CSV est l'opération inverse, et elle a ses propres pièges avec les en-têtes répétés.

Quand vous n'aviez pas besoin de découper

Si la raison était « Excel n'ouvre pas le fichier », les morceaux compliqueront chaque question ultérieure : un total sur l'année, c'est maintenant additionner douze fichiers. Un outil qui ouvre le fichier entier est en général la meilleure solution. Sur ordinateur, c'est DuckDB ou Power Query, comme expliqué ici.

Sur téléphone, c'est une appli qui ne s'arrête pas à une limite de lignes, et qui vous permet de réduire le fichier à la partie dont vous avez besoin, sans produire de morceaux.

CSV File Viewer - Smart CSViPhone et iPad · Android

Ouvre le fichier entier sur iPhone ou Android, puis le filtre avec un filtre visuel ou en SQL, pour lire une région ou un mois sans rien découper.

Ce que ça fait

Questions

Comment découper un gros fichier CSV en fichiers plus petits ?
Utilisez un outil qui comprend le CSV et recopie l'en-tête dans chaque morceau : qsv split -s 100000 out/ big.csv, ou mlr --csv split -n 100000 big.csv. Le simple split -l ne convient que si vous remettez l'en-tête vous-même et qu'aucun champ ne contient de saut de ligne.
Comment découper un CSV en gardant l'en-tête dans chaque fichier ?
qsv split et le verbe split de Miller répètent l'en-tête automatiquement. Avec de simples outils shell, retirez l'en-tête avec tail -n +2, découpez le reste, puis ajoutez la première ligne de l'original devant chaque morceau.
Peut-on découper un CSV selon les valeurs d'une colonne ?
Oui. mlr --csv split -g region big.csv écrit un fichier par valeur distincte de la colonne region. COPY de DuckDB avec PARTITION_BY fait pareil, dans un dossier par valeur.
Pourquoi certaines lignes sont-elles cassées après le découpage de mon CSV ?
Un champ contenait un saut de ligne entre guillemets, et un outil qui travaille ligne par ligne, comme split -l, a coupé la ligne en deux. Utilisez un outil qui analyse le CSV, comme qsv ou Miller, pour que les sauts de ligne entre guillemets restent dans leur ligne.
Combien de lignes Excel peut-il ouvrir depuis un CSV ?
1 048 576 lignes en-tête compris, par feuille de calcul. Les lignes au-delà ne sont pas chargées. Découper le fichier fonctionne, mais l'ouvrir dans un outil sans cette limite est en général plus utile.

mygems — Développe CSV Editor et Smart CSV Viewer, deux applis nées du fait que les tableurs abandonnent face aux gros fichiers.