Jump to content
Fórum Script Brasil
  • 0
Sign in to follow this  
fertel

Robots.txt - Que Arquivo é Esse?

Question

Estive verificando em estatísticas de sites meus que algumas visitas fazem a busca por "robots.txt" no diretório principal.

Para que serve este arquivo? É para por descrição e palavras chaves? e como utilizá-lo?

Share this post


Link to post
Share on other sites

2 answers to this question

Recommended Posts

  • 0

Esse arquivo robots.txt é o primeiro arquivo que um robô de pesquisa (do Google, Altavista, etc.) visita em um site.

É um arquivo em texto simples em que estão contidas informações para esses robôs saberem se existe alguma restrição de acesso para eles ou se todos os arquivos e diretórios do site podem ser visitados, e todos os links percorridos para classificação das páginas. O arquivo também discrimina quais os robôs que podem ter acesso ao site. Exemplo mínimo desse arquivo:

User-agent: * # todos os robôs podem visitar o site

Disallow: / # o site inteiro não pode ser indexado Esse arquivo robots.txt fica no diretório raiz dos sites. Veja por exemplo: http://www.w3.org/robots.txt

Também existe uma META tag com o objetivo de dar essas informações de restrição de acesso aos robôs, em cada página. Porém, poucos robôs consideram essas diretivas, por isso é uma tag pouco usada. Mas, para ilustrar a sintaxe:

<META NAME="robots" CONTENT="INDEX, NOFOLLOW">

isso quer dizer: essa página pode ser indexada, mas os links dela não podem ser seguidos para o robô continuar a indexação. Se fosse a página principal, por exemplo, o robô indexaria somente ela, sem navegar pelo site.

Usar o arquivo robots.txt é interessante para evitar que o site tenha visitas demais de robôs, pois eles também acabam gerando tráfego. No site do ICMC começamos a bloquear vários diretórios, por exemplo, de imagens e fotos, eventos, diretórios com informações antigas e outros que não queremos que apareçam em resultados de buscas.

Visite http://www.w3.org/TR/REC-html40/appendix/n....html#h-B.4.1.1 para saber mais sobre o robots.txt.

Share this post


Link to post
Share on other sites
  • 0

VALEU MESMO PELA INFORMAÇÃO, OBRIGADO

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  



  • Forum Statistics

    • Total Topics
      148131
    • Total Posts
      643434
×
×
  • Create New...