Bigbol1

Olá, preciso fazer um programa em linguagem C, uso o CodeBlocks pra isso. O programa precisa ler um arquivo .txt que ira ter 17mil linhas, cada linha com um código," X11X1X1X1X1", o problema é que dentre os códigos há repetidos, e eu preciso fazer com que na saída me mostre apenas uma vez, sem repetidos, e no final preciso jogar os códigos sem repetições dentro de um novo .txt. Oque eu fiz: Eu consigo ler oque esta escrito no .txt e consigo salvar em um outro .txt, oque eu não consigo é tirar os repetidos e outra, quando mando imprimir o resultado ele me da tudo junto sem ser em linha por linha como nó primeiro e quando mando usar uma quebra de linha ele perde o código inteiro, tipo, sé o código é X1X1 ele vai fazer X, 1, X,1, claro que não com virgulas e sim com espaços. Se puderem me ajudar fico agradecido.