Robots.txt?

[Norivan Oliveira]

Nem sei onde postar isto...

Sempre aparece este arquivo robots.txt nas minhas estatística como arquivo não encontrado, tenho por mim que quem está requisitando o arquivo deve ser algum rôbo (google, MSN, phpding) para catalogar meu site ou coisa parecida...

Mas como eu faço este robots.txt?, é só colocar as minhas metas tags lá e dar um upload na wwwroot?

obs: tentei procurar no fórum e no google antes mas não achei nada que explicasse

[Norivan Oliveira]

[RESOLVIDO]

Peguei este exemplo de robots.txt

#
# robots.txt for http://www.w3.org/
#
# $Id: robots.txt,v 1.29 2005/03/14 09:23:54 dom Exp $
#

# For use by search.w3.org
User-agent: W3C-gsa
Disallow: /Out-Of-Date

# W3C Link checker
User-agent: W3C-checklink
Disallow:

# exclude some access-controlled areas
User-agent: *
Disallow: /2004/ontaria/basic
Disallow: /Team
Disallow: /Project
Disallow: /Systems
Disallow: /Web
Disallow: /History
Disallow: /Out-Of-Date
Disallow: /2002/02/mid
Disallow: /mid/
Disallow: /People/all/
Disallow: /2003/03/Translations/byLanguage
Disallow: /2003/03/Translations/byTechnology

tipow pelo que pode perceber é apenas um arquivo que informa aos rôbos e spiders que pastas podem ser catalogadas.