mygems

Remover linhas duplicadas de um CSV

Duplicatas nas colunas que você diz que identificam uma linha.

  • Compara colunas à sua escolha
  • Prévia antes de remover
  • Mantém a primeira ou a última
  • Nada é enviado

1.Abrir o arquivo

CSV ou TSV. Arraste para cá ou escolha um arquivo.

Por que existe

“Duplicata” quase nunca significa “todos os campos idênticos”. Significa que duas linhas são o mesmo cliente, ou o mesmo pedido, com datas e horas diferentes penduradas. Por isso aqui você diz primeiro quais colunas identificam um registro, vê o que seria removido e escolhe manter a primeira ou a última de cada grupo.

O que ele faz

  • Remove duplicatas pela linha inteira ou pelo subconjunto de colunas que você escolher como chave.
  • Conta as duplicatas e mostra um grupo de exemplo antes de remover qualquer coisa.
  • Mantém a primeira ou a última linha de cada grupo, à sua escolha.
  • Baixa o arquivo sem duplicatas e informa exatamente quantas linhas saíram.

Uma observação sobre o que conta como igual

A comparação é exata e diferencia maiúsculas de minúsculas, nos valores como aparecem no arquivo. Duas linhas que diferem só por um espaço no final são duas linhas. Se não é isso que você quer, a correção vem antes da remoção de duplicatas, não dentro dela.

Perguntas

Posso remover duplicatas usando só uma coluna?
Pode, e esse é o caso mais comum. Escolha a coluna ou colunas que identificam um registro, como um e-mail ou um ID de pedido, e as linhas que repetem esses valores são tratadas como uma só.
Qual duplicata é mantida?
A primeira ou a última de cada grupo, como você escolher. A primeira mantém a linha mais antiga na ordem do arquivo; a última mantém a mais recente, que costuma ser o que você quer quando as linhas posteriores são atualizações.
A comparação diferencia maiúsculas de minúsculas?
Sim. Os valores são comparados exatamente como aparecem no arquivo, então `[email protected]` e `[email protected]` são diferentes.

A resposta mais longa

Esta página resolve. O guia explica — inclusive as partes que uma ferramenta não decide por você.

Como remover linhas duplicadas de um arquivo CSVA maioria dos duplicados são dois registros de uma pessoa, um mais novo. Veja como encontrá-los e manter o certo.