Ir para conteúdo
Fórum Script Brasil
  • 0

Detecção de registros duplicados em arquivo Text


aalmeidasp

Pergunta

Pessoal,

Tenho o seguinte problema, tenho a necessidade de que sempre que eu ler um arquivo texto e tenho que comprar com outro para ver se existe alguma linha duplicada, ou seja, alguma linha que tenha no arquivo A que já esteja no arquivo B, no caso de encontrar eu tenho que remover a linha duplicada.

Alguém tem alguma dica de script em Python para poder comparar a linha de um arquivo A com o arquivo B e estrair a linha duplicada?

Os arquivos que estou processando são grandes em torno de 1 milhao de registros cada arquivo.

Grato,

Link para o comentário
Compartilhar em outros sites

0 respostass a esta questão

Posts Recomendados

Até agora não há respostas para essa pergunta

Participe da discussão

Você pode postar agora e se registrar depois. Se você já tem uma conta, acesse agora para postar com sua conta.

Visitante
Responder esta pergunta...

×   Você colou conteúdo com formatação.   Remover formatação

  Apenas 75 emoticons são permitidos.

×   Seu link foi incorporado automaticamente.   Exibir como um link em vez disso

×   Seu conteúdo anterior foi restaurado.   Limpar Editor

×   Você não pode colar imagens diretamente. Carregar ou inserir imagens do URL.



  • Estatísticas dos Fóruns

    • Tópicos
      152k
    • Posts
      651,7k
×
×
  • Criar Novo...