aalmeidasp

Pessoal, Tenho o seguinte problema, tenho a necessidade de que sempre que eu ler um arquivo texto e tenho que comprar com outro para ver se existe alguma linha duplicada, ou seja, alguma linha que tenha no arquivo A que já esteja no arquivo B, no caso de encontrar eu tenho que remover a linha duplicada. Alguém tem alguma dica de script em Python para poder comparar a linha de um arquivo A com o arquivo B e estrair a linha duplicada? Os arquivos que estou processando são grandes em torno de 1 milhao de registros cada arquivo. Grato,