mygems

큰 CSV 파일을 작은 파일로 나누는 방법

split -l은 헤더를 잃고 따옴표 행을 자릅니다. 행 수나 열의 값으로 CSV를 나누고 각 조각에 헤더를 남기는 방법입니다.

작성: mygems ·

CSV 분할은 잘못하기 쉬운 작업입니다. 가장 먼저 떠오르는 split -l 명령은 파일을 일정한 줄 수로 자릅니다. 그러면 헤더가 있는 조각 하나와 헤더가 없는 조각 열아홉 개가 남고, 필드 안에 줄바꿈이 있던 행은 중간에서 잘립니다. 아래 도구들은 이 두 문제를 모두 피하며, 일부는 개수가 아니라 열의 값을 기준으로 나눌 수 있습니다. 원래 원했던 것이 그쪽인 경우도 많습니다.

빠른 답

  • N행씩, 각 조각에 헤더 포함: qsv split -s 100000 out/ big.csv 또는 mlr --csv split -n 100000 big.csv.
  • 열의 값마다 파일 하나(지역별, 월별): mlr --csv split -g region big.csv.
  • 설치된 도구가 없을 때: 아래의 tail + split 반복문. 단, 어떤 필드에도 줄바꿈이 없어야 합니다.
  • Excel의 행 제한 안으로 줄이려는 것뿐이라면: 나누지 않아도 될 수 있습니다. 이 페이지의 마지막 부분을 보세요.

나누기 전에: 왜 나누나요?

적합한 방법은 조각을 어디에 쓰느냐에 따라 달라집니다.

  • 스프레드시트가 파일을 열지 못한다. Excel은 1,048,576행에서 멈춥니다. 나누면 열리지만, 파일 전체에 걸친 질문을 할 때마다 모든 조각이 필요해집니다. 파일 전체를 여는 방법이 보통 더 낫습니다.
  • 업로드나 이메일 용량 제한. 크기로 나눕니다. 각 조각에 헤더만 있다면 행 수는 상관없습니다.
  • 사람마다 필요한 부분이 다르다. 열을 기준으로 나눕니다. 팀, 고객, 월별로 파일 하나씩입니다. 나누는 것이 분명히 맞는 경우는 이때입니다.
  • 한 번에 10,000행씩만 받는 일괄 가져오기. 행 수로 나눕니다.

행 수로 나누기(헤더 유지)

qsv(또는 그 전신인 xsv)는 이 작업을 위해 만든 단일 바이너리입니다.

qsv split -s 100000 out/ big.csv

이렇게 하면 out/0.csv, out/100000.csv 등의 파일이 만들어지고, 각 파일에는 헤더와 최대 100,000개의 데이터 행이 들어갑니다. CSV를 제대로 파싱하므로 줄바꿈이 들어 있는 따옴표 필드도 한 덩어리로 유지됩니다.

Miller도 같은 일을 하며, 파일 이름은 split_1.csv, split_2.csv가 됩니다.

mlr --csv split -n 100000 big.csv

열의 값으로 나누기

이쪽이 더 쓸모가 많고, 일반 split으로는 할 수 없는 분할입니다.

mlr --csv split -g region big.csv

고유한 값마다 split_East.csv, split_West.csv 같은 파일이 생기고, 각 파일에 헤더가 들어갑니다. 두 열로 묶으려면 -g region,year를 사용합니다.

DuckDB는 같은 내용을 값마다 폴더 하나로 씁니다. 전체를 불러오지 않고 스트리밍하므로 아주 큰 파일에 적합합니다.

duckdb -c "COPY (SELECT * FROM 'big.csv') TO 'by_region' (FORMAT csv, PARTITION_BY (region))"

결과는 by_region/region=East/data_0.csv 같은 형태입니다. 파티션 열은 폴더 이름에 들어 있으므로 기본적으로 파일에서는 빠집니다. 남기려면 WRITE_PARTITION_COLUMNS true를 추가하세요.

도구를 설치하지 않고 나누기

Mac이나 Linux에서는 기본 셸 명령으로 가능하지만 조건이 하나 있습니다. 파일의 어떤 필드에도 줄바꿈이 없어야 합니다. CSV를 파싱하는 프로그램으로 파일을 열어 행 수를 확인하고, wc -l 결과와 비교해 보세요.

tail -n +2 big.csv | split -l 100000 - part_
for f in part_*; do (head -n 1 big.csv; cat "$f") > "$f.csv"; rm "$f"; done

첫 줄은 헤더를 떼어 내고 나머지를 나눕니다. 둘째 줄은 각 조각에 헤더를 다시 붙입니다. 따옴표로 감싼 여러 줄 필드가 있으면 일부 행이 중간에서 잘립니다. 그럴 때는 qsv나 Miller를 사용하세요.

Windows에서는 PowerShell로 아무것도 설치하지 않고 할 수 있지만, 큰 파일은 CSV 전용 도구가 훨씬 빠릅니다. 같은 qsv 명령이 그대로 동작합니다.

Python으로 나누기

import pandas as pd

reader = pd.read_csv("big.csv", chunksize=100_000, dtype=str, keep_default_na=False)
for i, chunk in enumerate(reader):
    chunk.to_csv(f"part_{i}.csv", index=False)

추가한 두 인수가 중요합니다. dtype=str이 없으면 pandas가 자료형을 추측해서 00742를 조용히 742로 바꾸고, 긴 ID를 부동소수점으로 바꿉니다. keep_default_na=False가 없으면 텍스트 NA가 빈 셀이 됩니다. 분할 때문에 값이 바뀌어서는 안 됩니다.

목표 크기로 나누기

CSV를 정확히 10 MB에서 자르는 일반적인 도구는 없습니다. 자르는 위치가 행과 행 사이여야 하기 때문입니다. 대신 추정합니다. 파일 크기를 행 수로 나눠 행당 바이트 수를 구한 뒤, 제한 아래에 들어오는 행 수를 고르세요.

900 MB에 3,000,000행인 파일은 행당 약 300바이트이므로, 30,000행이면 조각당 대략 9 MB입니다. 행 길이가 모두 같지는 않으니 여유를 두세요.

결과 확인하기

두 가지 확인으로 분할 관련 버그는 거의 다 잡을 수 있습니다.

  1. 행 수가 맞는다. 모든 조각의 데이터 행 합계가 원본의 데이터 행 수와 같아야 합니다. 각 조각에 qsv count나 mlr --icsv --opprint count를 실행하면 헤더를 뺀 행 수가 나옵니다.
  2. 모든 조각의 헤더가 같고 순서도 같다. 아무 조각 두 개를 열어 첫 줄을 확인하세요.

나중에 다시 합칠 때는 CSV 파일 병합이 반대 작업이며, 반복된 헤더와 관련된 함정이 따로 있습니다.

굳이 나눌 필요가 없었다면

나누려던 이유가 "Excel에서 안 열려서"라면, 조각으로 나누면 이후의 모든 작업이 더 어려워집니다. 1년 치 합계를 내려면 이제 파일 열두 개를 더해야 합니다. 파일 전체를 여는 도구가 보통 더 나은 해결책입니다. 데스크톱에서는 DuckDB나 Power Query이며, 여기서 설명합니다.

휴대폰에서는 행 제한에서 멈추지 않고, 조각을 만들지 않고도 필요한 부분만 골라낼 수 있는 앱이 맞습니다.

CSV File Viewer - Smart CSViPhone 및 iPad · Android

iPhone이나 Android에서 파일 전체를 열고 시각적 필터나 SQL로 좁혀 갑니다. 아무것도 나누지 않고 한 지역이나 한 달 치만 읽을 수 있습니다.

기능

자주 묻는 질문

큰 CSV 파일을 작은 파일로 나누려면 어떻게 하나요?
각 조각에 헤더를 복사해 주는 CSV 인식 도구를 사용합니다. qsv split -s 100000 out/ big.csv 또는 mlr --csv split -n 100000 big.csv 입니다. 일반 split -l은 헤더를 직접 다시 붙이고 어떤 필드에도 줄바꿈이 없을 때만 쓸 수 있습니다.
CSV를 나누면서 각 파일에 헤더를 유지하려면 어떻게 하나요?
qsv split과 Miller의 split 동사는 헤더를 자동으로 반복합니다. 기본 셸 도구를 쓸 때는 tail -n +2로 헤더를 떼고 나머지를 나눈 다음, 원본의 첫 줄을 각 조각 앞에 붙입니다.
CSV를 열의 값에 따라 나눌 수 있나요?
네. mlr --csv split -g region big.csv는 region 열의 고유한 값마다 파일 하나를 씁니다. DuckDB의 COPY와 PARTITION_BY도 값마다 폴더 하나로 같은 결과를 냅니다.
CSV를 나눴더니 일부 행이 깨진 이유는 무엇인가요?
따옴표 안의 필드에 줄바꿈이 있었고, split -l 같은 줄 단위 도구가 그 행을 둘로 잘랐기 때문입니다. qsv나 Miller처럼 CSV를 파싱하는 도구를 쓰면 따옴표 안의 줄바꿈이 해당 행 안에 유지됩니다.
Excel은 CSV에서 몇 행까지 열 수 있나요?
워크시트당 헤더를 포함해 1,048,576행입니다. 그 이후의 행은 불러오지 않습니다. 파일을 나누면 열리지만, 이런 제한이 없는 도구에서 여는 편이 보통 더 유용합니다.

mygems — CSV Editor와 Smart CSV Viewer를 만듭니다. 스프레드시트가 큰 파일 앞에서 포기하기 때문에 생긴 두 앱입니다.