Pedar Urls No Diretório

[Luckxander]

Alguém sabe como faço para pegar as urls dentro de um determinado diretório ?

Como o escript abaixo pego o html da url fornecida, mas na verdade preciso adaptá-lo para ao invés de pegar o html, pegar os links dentro do diretório da url.

import urllib2

a = urllib2.urlopen('http://www.site.com/')

html = a.read()

a.close()

print html

no caso acima preciso de um retorno com links tipo: http://www.site.com, http://www.site.com/contato, http://www.site.com/clientes, http://www.site.com/produtos, ... etc.

[Kakao]

O Beaultiful Soup é um HTML parser e pode te ajudar:

http://www.crummy.com/software/BeautifulSoup/