Ir para conteúdo
Fórum Script Brasil
  • 0

Robots.txt - Que Arquivo é Esse?


fertel

Pergunta

Estive verificando em estatísticas de sites meus que algumas visitas fazem a busca por "robots.txt" no diretório principal.

Para que serve este arquivo? É para por descrição e palavras chaves? e como utilizá-lo?

Link para o comentário
Compartilhar em outros sites

2 respostass a esta questão

Posts Recomendados

  • 0

Esse arquivo robots.txt é o primeiro arquivo que um robô de pesquisa (do Google, Altavista, etc.) visita em um site.

É um arquivo em texto simples em que estão contidas informações para esses robôs saberem se existe alguma restrição de acesso para eles ou se todos os arquivos e diretórios do site podem ser visitados, e todos os links percorridos para classificação das páginas. O arquivo também discrimina quais os robôs que podem ter acesso ao site. Exemplo mínimo desse arquivo:

User-agent: * # todos os robôs podem visitar o site

Disallow: / # o site inteiro não pode ser indexado Esse arquivo robots.txt fica no diretório raiz dos sites. Veja por exemplo: http://www.w3.org/robots.txt

Também existe uma META tag com o objetivo de dar essas informações de restrição de acesso aos robôs, em cada página. Porém, poucos robôs consideram essas diretivas, por isso é uma tag pouco usada. Mas, para ilustrar a sintaxe:

<META NAME="robots" CONTENT="INDEX, NOFOLLOW">

isso quer dizer: essa página pode ser indexada, mas os links dela não podem ser seguidos para o robô continuar a indexação. Se fosse a página principal, por exemplo, o robô indexaria somente ela, sem navegar pelo site.

Usar o arquivo robots.txt é interessante para evitar que o site tenha visitas demais de robôs, pois eles também acabam gerando tráfego. No site do ICMC começamos a bloquear vários diretórios, por exemplo, de imagens e fotos, eventos, diretórios com informações antigas e outros que não queremos que apareçam em resultados de buscas.

Visite http://www.w3.org/TR/REC-html40/appendix/n....html#h-B.4.1.1 para saber mais sobre o robots.txt.

Link para o comentário
Compartilhar em outros sites

Participe da discussão

Você pode postar agora e se registrar depois. Se você já tem uma conta, acesse agora para postar com sua conta.

Visitante
Responder esta pergunta...

×   Você colou conteúdo com formatação.   Remover formatação

  Apenas 75 emoticons são permitidos.

×   Seu link foi incorporado automaticamente.   Exibir como um link em vez disso

×   Seu conteúdo anterior foi restaurado.   Limpar Editor

×   Você não pode colar imagens diretamente. Carregar ou inserir imagens do URL.



  • Estatísticas dos Fóruns

    • Tópicos
      152k
    • Posts
      651,8k
×
×
  • Criar Novo...