mygems

So teilst du eine große CSV-Datei in kleinere Dateien

split -l verliert die Kopfzeile und zerschneidet Zeilen. So teilst du eine CSV nach Zeilenzahl oder Spaltenwert, mit Kopfzeile in jedem Stück.

Von mygems ·

Eine CSV-Datei zu teilen lässt sich leicht schlecht machen. Der naheliegende Befehl split -l schneidet die Datei in Stücke mit je so und so vielen Zeilen. Übrig bleibt ein Stück mit Kopfzeile und neunzehn ohne, dazu ein paar Zeilen, die mittendrin zerrissen sind, weil ein Feld einen Zeilenumbruch enthielt. Die folgenden Werkzeuge vermeiden beides, und einige teilen nach dem Wert einer Spalte statt nach Anzahl, was oft ohnehin das war, was du wolltest.

Die schnelle Antwort

  • In Stücke mit je N Zeilen, Kopfzeile in jedem: qsv split -s 100000 out/ big.csv oder mlr --csv split -n 100000 big.csv.
  • Eine Datei pro Wert einer Spalte (pro Region, pro Monat): mlr --csv split -g region big.csv.
  • Keine Tools installiert: die Schleife mit tail + split weiter unten, solange kein Feld einen Zeilenumbruch enthält.
  • Nur um unter Excels Limit zu kommen: Vielleicht musst du gar nicht teilen. Siehe das Ende dieser Seite.

Bevor du teilst: wozu?

Die richtige Methode hängt davon ab, wofür die Teile gedacht sind.

  • Eine Tabellenkalkulation öffnet die Datei nicht. Excel hört bei 1.048.576 Zeilen auf. Teilen funktioniert, aber jede Frage, die die ganze Datei betrifft, braucht jetzt alle Teile. Die ganze Datei zu öffnen ist meist besser.
  • Ein Upload- oder E-Mail-Limit. Nach Größe teilen. Die Zeilen spielen keine Rolle, solange jedes Stück eine Kopfzeile hat.
  • Verschiedene Leute brauchen verschiedene Teile. Nach einer Spalte teilen: eine Datei pro Team, Kunde oder Monat. Das ist der Fall, in dem Teilen eindeutig richtig ist.
  • Ein Batch-Import, der 10.000 Zeilen auf einmal nimmt. Nach Anzahl teilen.

Nach Zeilenzahl teilen, mit Kopfzeile

qsv (oder sein Vorgänger xsv) ist ein einzelnes Binary, das genau dafür gebaut ist:

qsv split -s 100000 out/ big.csv

Das schreibt out/0.csv, out/100000.csv und so weiter, jeweils mit der Kopfzeile und bis zu 100.000 Datenzeilen. Es parst das CSV richtig, ein Feld in Anführungszeichen mit Zeilenumbruch bleibt also in einem Stück.

Miller macht dasselbe und nennt die Dateien split_1.csv, split_2.csv:

mlr --csv split -n 100000 big.csv

Nach dem Wert einer Spalte teilen

Das ist die nützlichere Variante, und die, die das einfache split nicht kann:

mlr --csv split -g region big.csv

Du bekommst split_East.csv, split_West.csv und so weiter, eine pro eindeutigem Wert, jeweils mit Kopfzeile. Nach zwei Spalten gruppierst du mit -g region,year.

DuckDB schreibt dasselbe als einen Ordner pro Wert, was für sehr große Dateien passt, weil es streamt, statt alles zu laden:

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

Die Ausgabe ist by_region/region=East/data_0.csv und so weiter. Beachte, dass die Partitionsspalte standardmäßig nicht in den Dateien steht, da sie im Ordnernamen steckt; mit WRITE_PARTITION_COLUMNS true bleibt sie erhalten.

Ohne installierte Tools

Auf einem Mac oder Linux-Rechner geht es mit normalen Shell-Befehlen, unter einer Bedingung: Kein Feld in der Datei darf einen Zeilenumbruch enthalten. Prüfe das, indem du die Datei in etwas öffnest, das CSV parst, und die Zeilenzahl mit wc -l vergleichst.

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

Die erste Zeile entfernt die Kopfzeile und teilt den Rest. Die zweite setzt die Kopfzeile wieder auf jedes Stück. Wenn deine Zeilen Felder in Anführungszeichen mit Zeilenumbrüchen haben, werden einige zerschnitten: nimm qsv oder Miller.

Unter Windows geht es mit PowerShell ohne Installation, aber bei einer großen Datei ist ein CSV-Tool deutlich schneller. Derselbe qsv-Befehl funktioniert dort.

In Python

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

Die zwei zusätzlichen Argumente sind wichtig. Ohne dtype=str rät pandas Typen und macht aus 00742 stillschweigend 742 und aus langen IDs Fließkommazahlen; ohne keep_default_na=False wird der Text NA zu einer leeren Zelle. Beim Teilen darf sich nie ein Wert ändern.

Nach Zielgröße teilen

Kein gängiges Tool teilt ein CSV auf genau 10 MB, weil ein Schnitt zwischen zwei Zeilen liegen muss. Schätze stattdessen: Teile die Dateigröße durch die Zeilenzahl, um die Bytes pro Zeile zu bekommen, und wähle dann eine Zeilenzahl, die unter dem Limit landet.

Eine 900-MB-Datei mit 3.000.000 Zeilen hat etwa 300 Bytes pro Zeile, also sind 30.000 Zeilen ungefähr 9 MB pro Stück. Plane etwas Spielraum ein: Nicht alle Zeilen sind gleich lang.

Das Ergebnis prüfen

Zwei Prüfungen fangen fast jeden Fehler beim Teilen ab:

  1. Die Zeilen gehen auf. Die Datenzeilen aller Stücke ergeben zusammen die Datenzeilen des Originals. qsv count oder mlr --icsv --opprint count für jedes Stück liefert die Zahl ohne Kopfzeile.
  2. Jedes Stück hat dieselbe Kopfzeile, in derselben Reihenfolge. Öffne zwei Stücke zufällig und sieh dir die erste Zeile an.

Um sie später wieder zusammenzusetzen, ist das Zusammenführen von CSV-Dateien die Umkehrung und hat eigene Fallstricke mit wiederholten Kopfzeilen.

Wenn du gar nicht teilen musstest

Wenn der Grund „Excel öffnet die Datei nicht“ war, machen die Stücke jede spätere Frage schwieriger: Eine Summe über das Jahr heißt jetzt, zwölf Dateien zu addieren. Ein Tool, das die ganze Datei öffnet, ist meist die bessere Lösung. Am Desktop heißt das DuckDB oder Power Query, wie hier beschrieben.

Auf dem Handy heißt es: eine App, die nicht an einem Zeilenlimit hängen bleibt und mit der du die Datei auf den Teil eingrenzen kannst, den du brauchst, ganz ohne Stücke zu erzeugen.

CSV File Viewer - Smart CSViPhone & iPad · Android

Öffnet die ganze Datei auf iPhone oder Android und filtert sie dann mit einem visuellen Filter oder SQL, sodass du eine Region oder einen Monat lesen kannst, ohne etwas zu teilen.

Was es kann

Fragen

Wie teile ich eine große CSV-Datei in kleinere Dateien?
Nimm ein CSV-fähiges Tool, das die Kopfzeile in jedes Stück kopiert: qsv split -s 100000 out/ big.csv oder mlr --csv split -n 100000 big.csv. Das einfache split -l funktioniert nur, wenn du die Kopfzeile selbst wieder einfügst und kein Feld einen Zeilenumbruch enthält.
Wie teile ich eine CSV-Datei und behalte die Kopfzeile in jeder Datei?
qsv split und Millers split-Verb wiederholen die Kopfzeile automatisch. Mit einfachen Shell-Tools entfernst du die Kopfzeile mit tail -n +2, teilst den Rest und setzt dann die erste Zeile des Originals vor jedes Stück.
Kann ich eine CSV nach den Werten einer Spalte teilen?
Ja. mlr --csv split -g region big.csv schreibt eine Datei pro eindeutigem Wert der Spalte region. DuckDBs COPY mit PARTITION_BY macht dasselbe in einen Ordner pro Wert.
Warum sind nach dem Teilen meiner CSV manche Zeilen kaputt?
Ein Feld enthielt in Anführungszeichen einen Zeilenumbruch, und ein zeilenbasiertes Tool wie split -l hat die Zeile in zwei Teile geschnitten. Nimm ein Tool, das CSV parst, etwa qsv oder Miller, damit Zeilenumbrüche in Anführungszeichen in ihrer Zeile bleiben.
Wie viele Zeilen kann Excel aus einer CSV öffnen?
1.048.576 Zeilen inklusive Kopfzeile pro Tabellenblatt. Weitere Zeilen werden nicht geladen. Die Datei zu teilen funktioniert, aber sie in einem Tool ohne dieses Limit zu öffnen ist meist nützlicher.

mygems — Entwickelt CSV Editor und Smart CSV Viewer, zwei Apps, die es gibt, weil Tabellenkalkulationen bei großen Dateien aufgeben.