Skip to main content

Robots.txt / Robôs.txt

TL;DR

Robots.txt é um protocolo de exclusão para que os rastreadores da web ignorem certas páginas, pastas ou arquivos em um site, e é usado para melhorar a otimização dos mecanismos de busca.

Sobre Robots.txt

O padrão de exclusão de robôs também chamado de protocolo de exclusão de robôs (Robots.txt) é um arquivo que permite que os spiders dos mecanismos de busca saibam quais páginas da web ou seções de um site não devem rastejar. É importante que o robots.txt seja configurado corretamente, pois um único erro pode fazer com que um site inteiro seja desindexado pelos mecanismos de busca.

Porque é que o Robots.txt é importante?

Robots.txt é uma parte importante da SEO, pois todos os principais motores de busca reconhecem e obedecem a este padrão de exclusão. A maioria dos sites não precisa deste protocolo, pois o Google apenas indexará as páginas importantes de um site, deixando de fora o resto (por exemplo, páginas duplicadas), mas há alguns casos em que é recomendado o uso de robots.txt. O padrão de exclusão de robôs pode ser usado para evitar a indexação de recursos multimídia (por exemplo, imagens), bloquear páginas que não são públicas (por exemplo, páginas de login de membros) e para maximizar o orçamento de rastreamento.

Exemplos de arquivos Robot.txt

O formato básico para o arquivo robots.txt é: Agente-utilizador: ______ Desautorizado: ______ Onde o usuário-agente é o nome do robô que está sendo endereçado, e a parte que vem após "desautorizar" conterá o nome da página web, pasta ou arquivo que o robô deve ignorar ao visitar um site. Um asterisco (*) pode ser usado em vez do nome de um robô específico, se quiserem se dirigir a todos os robôs que possam visitar o site. Neste exemplo, os robôs são informados para não entrar nos diretórios mencionados: Agente-utilizador: * Desautorizar: /tmp/ Não Autorizar: /junk/ Enquanto neste, os rastejadores são informados para evitar um arquivo específico: Agente-usuário: * Desautorizar: /directory/file.html