O que é robots.txt?
O robots.txt é um arquivo de texto utilizado para orientar os mecanismos de busca sobre quais áreas de um site podem ou não ser rastreadas por seus robôs.
Ele faz parte do Protocolo de Exclusão de Robôs (Robots Exclusion Protocol) e é utilizado por mecanismos de busca como Google e Bing.
Quando um robô de busca visita um site, ele pode consultar o arquivo robots.txt para verificar se existem regras que limitam o acesso a determinados caminhos.
Esse arquivo é especialmente útil para controlar o rastreamento de páginas administrativas, URLs duplicadas e outras áreas que não precisam ser exploradas pelos buscadores.
Para que serve o arquivo robots.txt?
A principal função do robots.txt é orientar o rastreamento realizado pelos mecanismos de busca.
Entre suas principais aplicações estão:
- Controlar o acesso de robôs a determinados diretórios.
- Evitar o rastreamento desnecessário de algumas URLs.
- Reduzir solicitações de rastreamento em áreas pouco relevantes.
- Informar a localização do sitemap XML.
- Organizar a forma como os mecanismos de busca acessam o site.
Entretanto, é importante entender que o robots.txt não é uma ferramenta de segurança e também não garante que uma página ficará fora dos resultados de pesquisa.
Como funciona o robots.txt?
O arquivo robots.txt utiliza instruções simples para definir quais caminhos podem ser rastreados.
As duas diretivas mais conhecidas são:
- User-agent: identifica o robô ao qual as regras se aplicam.
- Disallow: indica caminhos que não devem ser rastreados.
Também existe a diretiva Allow, utilizada para permitir o rastreamento de caminhos específicos, inclusive dentro de diretórios bloqueados.
Exemplo básico de robots.txt
User-agent: *
Disallow: /admin/
Disallow: /privado/
Sitemap: https://exemplo.com/sitemap.xmlNesse exemplo:
- O asterisco (*) representa todos os robôs que respeitam o protocolo.
- O diretório /admin/ não deve ser rastreado.
- O diretório /privado/ também não deve ser rastreado.
- O sitemap informa onde encontrar a lista de URLs do site.
As regras não impedem o acesso de usuários comuns a essas páginas. Para proteger informações privadas, é necessário utilizar autenticação e outras medidas de segurança.
Onde fica o arquivo robots.txt?
O arquivo robots.txt deve estar localizado na raiz do host ao qual suas regras se aplicam.
Normalmente, ele pode ser acessado pelo seguinte endereço:
https://exemplo.com/robots.txtSe você utiliza uma hospedagem com cPanel, o arquivo geralmente pode ser criado ou editado pelo Gerenciador de Arquivos.
Em muitos ambientes de hospedagem compartilhada, a pasta principal do site é chamada de public_html.
Como criar um robots.txt pelo cPanel?
Se sua hospedagem utiliza cPanel, configurar o robots.txt é relativamente simples.
Passo 1: acesse o cPanel
Entre no painel de controle da sua hospedagem utilizando suas credenciais.
Passo 2: abra o Gerenciador de Arquivos
Localize a ferramenta Gerenciador de Arquivos e acesse o diretório principal do seu site.
Em instalações convencionais, esse diretório costuma ser o public_html.
Passo 3: crie o arquivo robots.txt
Se o arquivo ainda não existir, crie um novo arquivo chamado:
robots.txtO nome deve estar escrito em letras minúsculas.
Passo 4: adicione as regras
Para um site comum, uma configuração inicial pode ser:
User-agent: *
Disallow:
Sitemap: https://exemplo.com/sitemap.xmlEssa configuração não estabelece bloqueios de rastreamento e informa a localização do sitemap.
Substitua exemplo.com pelo domínio do seu site e confirme que o endereço do sitemap realmente existe.
Passo 5: salve e teste
Depois de salvar o arquivo, abra o endereço /robots.txt no navegador para confirmar que ele está acessível.
Você também pode utilizar o Google Search Console para acompanhar possíveis problemas de rastreamento.
Como configurar robots.txt no WordPress?
O WordPress pode disponibilizar um robots.txt virtual, mesmo quando não existe um arquivo físico no servidor.
Para verificar, basta acessar:
https://seusite.com/robots.txtEm uma instalação padrão, o conteúdo pode ser semelhante a:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpEssa configuração evita o rastreamento da área administrativa, mas permite o acesso ao endpoint admin-ajax.php, que pode ser utilizado por funcionalidades do WordPress.
Dependendo da instalação, plugins e configurações adicionais podem modificar o conteúdo apresentado.
Exemplo de robots.txt para WordPress
Uma configuração simples para um site WordPress pode ser:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://seusite.com/wp-sitemap.xmlEsse exemplo utiliza o sitemap nativo do WordPress.
Se você utiliza um plugin de SEO que gera seu próprio sitemap, o endereço pode ser diferente.
Antes de publicar, confira qual sitemap está ativo no seu site.
O robots.txt ajuda no SEO?
O robots.txt pode contribuir para uma estratégia de SEO ao orientar os mecanismos de busca sobre quais áreas devem ser rastreadas.
Entretanto, ele não é um recurso que melhora automaticamente o posicionamento de um site nos resultados de pesquisa.
Seu principal benefício está no controle do rastreamento.
Em sites grandes, com milhares de URLs, uma configuração adequada pode ajudar a evitar que robôs gastem solicitações em caminhos pouco relevantes.
Por outro lado, bloquear páginas importantes pode prejudicar a descoberta e a atualização do conteúdo nos mecanismos de busca.
Qual é a diferença entre robots.txt e noindex?
Embora sejam frequentemente confundidos, robots.txt e noindex possuem funções diferentes.
Robots.txt
Controla se os robôs podem rastrear determinados caminhos.
Uma página bloqueada pelo robots.txt ainda pode aparecer nos resultados de pesquisa caso o mecanismo de busca descubra sua URL por outros meios.
Noindex
É uma diretiva utilizada para solicitar que os mecanismos de busca não incluam determinada página em seus índices.
Ela pode ser aplicada por meio de uma meta tag HTML:
<meta name="robots" content="noindex">Para que o Google identifique essa diretiva, a página precisa estar acessível ao rastreamento.
Por isso, bloquear uma página pelo robots.txt e adicionar noindex nela pode impedir que o Google visualize a instrução de não indexação.
Erros comuns ao configurar robots.txt
1. Bloquear o site inteiro sem querer
Uma das configurações mais perigosas é:
User-agent: *
Disallow: /Essa regra solicita que todos os robôs abrangidos pelo grupo deixem de rastrear o site inteiro.
Ela pode ser útil temporariamente em determinados ambientes, mas geralmente não deve estar ativa em um site público que deseja receber tráfego orgânico.
2. Bloquear arquivos CSS e JavaScript necessários
Alguns sites bloqueiam diretórios que contêm arquivos importantes para a renderização das páginas.
Isso pode dificultar a compreensão do conteúdo pelos mecanismos de busca.
Por esse motivo, evite bloquear recursos essenciais para a apresentação do site.
3. Utilizar robots.txt para proteger informações privadas
O robots.txt é um arquivo público e suas regras podem ser visualizadas por qualquer pessoa.
Além disso, robôs maliciosos podem simplesmente ignorar suas instruções.
Informações confidenciais devem ser protegidas por autenticação, permissões adequadas e controles de acesso.
4. Informar um sitemap inexistente
O endereço informado na diretiva Sitemap deve apontar para um arquivo válido.
Se o sitemap estiver incorreto, os mecanismos de busca podem não conseguir utilizá-lo.
5. Bloquear páginas importantes
Bloquear artigos, produtos ou páginas institucionais relevantes pode dificultar o rastreamento do conteúdo.
Antes de adicionar uma regra Disallow, avalie quais URLs serão afetadas.
Como verificar se o robots.txt está funcionando?
Existem algumas maneiras de verificar a configuração.
- Acesse o arquivo diretamente pelo navegador.
- Confira se as regras estão escritas corretamente.
- Utilize a ferramenta de inspeção de URL do Google Search Console.
- Verifique relatórios de rastreamento e indexação.
- Confirme se páginas importantes continuam acessíveis aos mecanismos de busca.
Também é importante revisar o arquivo após alterações significativas na estrutura do site.
Todo site precisa de robots.txt?
Não necessariamente.
Um site pode ser rastreado normalmente mesmo sem possuir um arquivo robots.txt.
Entretanto, utilizar esse recurso pode ser interessante quando existe a necessidade de controlar o acesso dos robôs a determinados caminhos.
Para sites pequenos, uma configuração simples costuma ser suficiente.
Já portais de notícias, lojas virtuais e sites com milhares de páginas podem exigir regras mais específicas.
Conclusão
O robots.txt é uma ferramenta importante para administrar o rastreamento de um site pelos mecanismos de busca.
Quando configurado corretamente, ele ajuda a organizar o acesso dos robôs e pode contribuir para uma estratégia de SEO mais eficiente.
Entretanto, configurações incorretas podem bloquear conteúdos importantes e prejudicar a visibilidade do site.
Por isso, sempre revise suas regras, mantenha o sitemap atualizado e acompanhe o comportamento do seu site no Google Search Console.
Precisa de uma hospedagem para seu site ou projeto WordPress?
Na NecoCloud, você encontra soluções de hospedagem para colocar seu projeto na internet e gerenciar seus arquivos e configurações.
Conheça nossos planos de Hospedagem de Sites e Hospedagem WordPress.
Ainda não há comentários neste artigo.