Somos especialistas em mídias de performance, SEO, Criação e desenvolvimento, e todas as esferas do Marketing Digital.
Alameda Campinas
São Paulo
São Paulo
01404001
Brasil
Em : SEO - Otimização Comentários : 0 Autor : Denis Casita Data : 13 set 2017
O que é e qual a importância de Robots.txt? Entenda agora!

Você sabia que um pequeno arquivo de texto pode ser um auxílio ou uma grande dor de cabeça para o seu site? É daí que vem a importância do robots.txt: se os seus arquivo não forem configurados corretamente, você pode acabar dizendo para os mecanismos de busca não vasculharem o seu site  ou seja, a sua página não aparecerá nos resultados das buscas.

Para evitar que isso aconteça, é fundamental compreender o que é robots.txt e sua importância para o SEO, aprendendo a identificar se você está usando o arquivo corretamente. É sobre isso que falaremos no post de hoje. Vamos começar?

O que é robots.txt?

O arquivo robots.txt fornece instruções para os “bots” (ou robôs) que vasculham a internet, podendo dizer que o dono da página deseja que ela não seja vasculhada, por exemplo. Outra opção é indicar no arquivo que você quer que apenas as imagens não sejam listadas pelo Google e outros mecanismos.

Você pode ir agora mesmo ao seu site e verificar a existência do arquivo adicionando /robots.txt logo após o domínio raiz. A URL que você vai escrever deve ficar nesta estrutura: http://www.seusite.com.br/robots.txt (considere fazer mudanças dependendo do endereço do seu site, como o https e outros domínios, como .net e .org).

Antes que um mecanismo de buscas vasculhe seu site, ele vai verificar as instruções contidas no arquivo robots.txt, conferindo se você permite que ele faça o “crawl” (vasculhar todo o site) e o indexe nas páginas de resultados para as pesquisas.

Robots.txt são úteis nas seguintes situações:

  • se você quer que os mecanismos de busca ignorem qualquer página duplicada em seu site;

  • se você não quer que os mecanismos de busca indexem conteúdo das páginas internas;

  • se você não quer que os mecanismos de busca indexem certas áreas do site ou o site todo;

  • se você não quer que os mecanismos de busca indexem certos arquivos no site (imagens, arquivos PDF, etc.);

  • se você quer indicar aos mecanismos de busca onde o sitemap está localizado.

Como criar um arquivo de robots.txt?

Se você verificou que o seu site ainda não possui um arquivo robots.txt, a recomendação é que faça isso o quanto antes. Você precisará fazer o seguinte:

  • criar um novo arquivo de texto e salvá-lo pelo nome: você pode utilizar o Notepad (bloco de notas) no Windows ou o TextEdit no Mac. Na hora de salvar, salve como arquivo baseado em texto;

  • subir para o diretório de root do website: em geral, existe uma pasta de nível root chamada “htdocs” ou “www”, o que faz o arquivo aparecer da forma como indicamos acima;

  • se você utiliza subdomínios, você vai precisar criar um arquivo robots.txt para cada subdomínio diferente.

O que incluir no arquivo robots.txt?

Em geral, ocorrem alguns desacordos quanto ao que deve e ao que não deve estar presente em um arquivo robots.txt. Em um primeiro momento, lembre-se que o arquivo não tem como propósito lidar com nenhuma questão de segurança do seu site. Por isso, não é recomendado que a localização de nenhum arquivo de admin ou páginas privadas no seu site estejam presentes em um robots.txt.

Se você quiser aplicar uma camada de segurança à instrução de que os bots não devem vasculhar seu site ou acessar algum conteúdo privado, é imprescindível que você bloqueie o acesso à área onde esses conteúdos estão armazenados utilizando passwords. Lembre-se, o robots.txt é um guia para os bots, mas nem todos eles vão simplesmente aceitar as instruções.

É possível que bots diferentes usem códigos ligeiramente diferentes, então vale a pena se familiarizar com os diferentes mecanismos de busca.

Exemplos de como o robots.txt pode ser utilizado

Permita tudo e indique o sitemap

Essa é a melhor opção para a maior parte dos sites, pois permite que os mecanismos de busca vasculhem, categorizem e indexem o site e todos os dados nele contidos. O arquivo facilita o trabalho dos robôs ao indicar o sitemap.

Permita tudo com exceção de um subdiretório

Pode ser que exista apenas uma área do site que você não quer que os bots vasculhem. Pode ser uma área de checkout para um e-commerce, arquivos de imagem ou algo que não faz sentido para os clientes, apenas internamente.

Permita tudo menos certos arquivos

Em algumas ocasiões, você quer mostrar algumas mídias em seu site, mas não quer que elas sejam categorizadas pelo Google. Um bom exemplo são arquivos em PDF. O robots.txt permite, por exemplo, desativar de uma só vez a indexação de todos os arquivos com extensão PDF. Isso também serve para outras extensões.

Permita tudo menos algumas páginas

Diferentemente de bloquear apenas uma área do site, aqui você pode ser mais específico, não permitindo a indexação de apenas uma ou outra página. Por exemplo, pode ser uma página utilizada para testes de implementação.

Permita tudo menos alguns padrões de URL

Por fim, você pode ter algum padrão de URL que não é interessante de ser vasculhado e indexado. Por exemplo, páginas que são geradas por buscas internas, por tags ou resquícios de desenvolvimento.

O que não incluir no robots.txt?

Ocasionalmente, um site pode ter um arquivo robots.txt contendo o seguinte comando:

  • User-agent: *
  • Disallow: /

Isso é um comando para que os bots ignorem todo o domínio, significando que nenhuma página ou arquivo irá aparecer nos resultados de buscas.

Esse exemplo mostra bem a necessidade de uma boa implementação do arquivo robots.txt, sendo importante que você confira o seu e garanta que você não está restringindo sua empresa de ser encontrada.

Como testar o robots.txt?

Você pode testar o arquivo para garantir que tudo está de acordo com o esperado. O Google lançou uma solução que realiza esse teste, o Google Webmaster Tools. A solução também serve para melhorar diversos outros pontos de seu site.

O que acontece caso não exista um arquivo robots.txt?

Agora que você já sabe bem o que é robots.txt, possivelmente já deduziu a resposta correta: os mecanismos de busca terão livre acesso ao website. Pode ser que isso dê certo, mas acredite, a diferença de apontar o sitemap já é perceptível para o SEO, facilitando o trabalho dos bots e melhorando a indexação do seu conteúdo.

Agora que você já sabe o que é o robots.txt, já pode realizar o teste e promover as mudanças necessárias para otimizar sua estratégia de SEO. Quer continuar acompanhando outras dicas como essa? Assine a nossa newsletter e receba nossos artigos em primeira mão!

Analise o SEO do Meu Site Grátis!
Google Partner Premier Bing ADS - Profissional Autorizado Certificação VTEX - Project Manager Certificação VTEX - Reseller Certificação VTEX - Support