Existem dois controles diferentes para tirar uma página da busca, e o robots.txt é apenas um deles. Ele diz ao robô onde ele pode entrar. A meta tag de noindex diz ao buscador o que ele pode guardar no índice. São coisas separadas, com efeitos separados.
Confundir as duas produz o resultado mais frustrante do SEO técnico: a página que você bloqueou continua aparecendo no Google, agora sem título e sem descrição, com o aviso de que não foi possível ler o conteúdo. Muita gente aperta mais o bloqueio nesse momento, e piora.
Este artigo separa as duas ferramentas: o que cada uma faz, o que acontece quando são usadas juntas no mesmo endereço e qual escolher em cada situação real.
O que cada diretiva realmente faz
O robots.txt fica na raiz do domínio e controla acesso. Ele diz: não entre aqui. O robô que respeita a regra não busca o conteúdo daquela URL.
A meta tag robots com valor noindex fica dentro do HTML da página e controla índice. Ela diz: você pode ler, mas não guarde isto nos resultados. Existe também a versão em cabeçalho HTTP, X-Robots-Tag, útil para arquivos que não são HTML, como PDFs.
A diferença crítica está na sequência. Para obedecer o noindex, o buscador precisa ler a página. Se o acesso está bloqueado, ele nunca lê a instrução.
Por que a página bloqueada continua na busca?
Porque o Google pode indexar uma URL sem nunca ter visto o conteúdo dela. Basta que outras páginas apontem para lá.
O robô encontra o link, tenta visitar, esbarra na regra do robots.txt e para. Mas ele já sabe que a URL existe e já tem o texto âncora dos links que apontam para ela. Com isso, monta uma entrada mínima no índice: o endereço aparece no resultado, sem título próprio e com a nota de que a descrição não está disponível.
O ciclo se fecha assim: você bloqueou o acesso para esconder a página, e o bloqueio é exatamente o que impede o buscador de ler a instrução que a esconderia de verdade. Este é o motivo por trás de vários avisos que aparecem no relatório de páginas, e vale cruzar com os motivos de exclusão que o Search Console lista antes de mexer em qualquer arquivo.
O erro de usar as duas coisas juntas
O padrão é sempre o mesmo. Alguém coloca noindex na página e, para reforçar, adiciona um Disallow para a mesma URL no robots.txt.
O resultado é o oposto do pretendido. O noindex vira letra morta, porque ninguém o lê. A URL permanece no índice em versão degradada, e agora não há como removê-la sem desfazer o bloqueio primeiro.
A regra prática cabe em uma frase: para tirar do índice, deixe entrar. Remova o bloqueio, mantenha o noindex, espere o robô visitar a página e ler a instrução. Depois que a URL sair dos resultados, você pode bloquear o acesso de novo se quiser economizar rastreamento — mas só depois.
E se for urgente?
O Search Console tem uma ferramenta de remoção temporária que oculta a URL dos resultados por cerca de seis meses. Ela serve para ganhar tempo, não para resolver. Use-a em paralelo com a correção definitiva, nunca no lugar dela.
Quando usar o robots.txt
Use quando o objetivo é economizar rastreamento em URLs que não deveriam nem ser visitadas, e que não têm links externos apontando para elas.
Os casos típicos:
- Resultados de busca interna, que geram URLs infinitas.
- Combinações de filtro e ordenação com parâmetros.
- Áreas administrativas e endpoints de sistema.
- Diretórios de arquivos temporários e de ambiente de teste.
O ganho aqui é orçamento de rastreamento. Em sites com dezenas de milhares de URLs, cortar essas famílias libera o robô para visitar páginas que geram receita. Em um site com 40 páginas, o efeito é irrelevante.
Uma observação sobre sintaxe: as regras do robots.txt valem por prefixo e são sensíveis a maiúsculas. Disallow: /Busca não bloqueia /busca. O arquivo também aceita Allow para abrir exceções dentro de um diretório bloqueado, útil quando você precisa liberar um único recurso. E é ali que se declara o endereço do sitemap, em uma linha própria.
Quando usar noindex
Use quando a página precisa continuar acessível para pessoas, mas não deve competir na busca.
Páginas de agradecimento após formulário, resultados de campanhas pagas com conteúdo duplicado, versões de impressão, páginas de login, listagens paginadas a partir da segunda página em alguns catálogos. Todas essas são úteis a quem já está no site e inúteis a quem chega pela busca.
O ponto que muita gente esquece: a URL com noindex precisa ficar de fora do arquivo que declara sua arquitetura ao buscador. Listar uma página no sitemap e marcá-la como noindex é enviar duas afirmações opostas, e os critérios de o que pode e o que não pode entrar nessa lista existem justamente para evitar esse tipo de contradição.
E os arquivos que não são HTML?
PDFs, planilhas e imagens não aceitam meta tag. Para eles, a instrução vai no cabeçalho HTTP, com X-Robots-Tag: noindex, configurado no servidor ou na regra de entrega do arquivo.
Isso costuma aparecer em sites que publicam catálogos, manuais e tabelas de preço em PDF. Esses arquivos são indexados, aparecem na busca e às vezes competem com a própria página do produto. Se você quer que a página ganhe e o PDF suma, o cabeçalho é o caminho.
Como verificar o que está valendo hoje?
Três checagens rápidas, na ordem:
1. Abra o robots.txt no navegador. Ele fica em seudominio.com.br/robots.txt e é público. Leia linha por linha e confira se algum Disallow amplo sobrou de um ambiente de homologação.
2. Use o teste de URL no Search Console. A inspeção mostra se a URL está bloqueada, se está indexada e qual diretiva está sendo aplicada. É a fonte mais confiável, porque reflete o que o Google enxerga, não o que você espera.
3. Confira o HTML entregue. Veja o código-fonte da página e procure a meta tag robots. Em sites que montam conteúdo no navegador, confira também o HTML renderizado — a tag pode estar sendo inserida ou removida por script.
Quando o volume de páginas afetadas é grande, essa verificação vira parte de uma auditoria maior, do tipo descrito no guia da camada técnica do site. Se a estrutura de URLs do site gera famílias inteiras de endereços indesejados, o conserto durável não está nas diretivas: está na arquitetura, e é aí que entra o trabalho de estrutura e SEO do site.
Um resumo que cabe na cabeça
Bloqueio de acesso controla onde o robô entra. Noindex controla o que fica no índice. Uma diretiva não substitui a outra, e usar as duas no mesmo endereço faz a segunda parar de funcionar.
Quando quiser que a página suma da busca, escolha noindex e mantenha a passagem aberta. Quando quiser apenas parar de gastar rastreamento em URLs que ninguém procura, escolha o bloqueio. E quando estiver em dúvida sobre qual é o caso, comece pela pergunta mais simples: essa URL já aparece nos resultados hoje?
Perguntas frequentes
- Bloquear uma página remove ela da busca?
- Não. O bloqueio de acesso impede a leitura, não a exibição. Se outras páginas apontam para aquela URL, o Google pode continuar mostrando o endereço no resultado, sem título nem descrição. Para remover de verdade, é preciso permitir o acesso e usar a diretiva de noindex.
- Preciso desse arquivo se meu site não tem nada a esconder?
- Não é obrigatório. Um site sem o arquivo é rastreado normalmente. Vale ter mesmo assim, porque ele é o lugar padrão para declarar o sitemap e para cortar áreas que só geram desperdício de rastreamento, como busca interna e filtros.
- Quanto tempo até a página sumir do resultado?
- Depende de quando o Google voltar a visitar a URL. Em sites rastreados com frequência, dias. Em páginas pouco visitadas, semanas. Para casos urgentes, a ferramenta de remoção do Search Console oculta a URL por cerca de seis meses enquanto a correção definitiva age.
- Posso simplesmente apagar as páginas em vez de bloquear?
- Pode, mas só quando o conteúdo não serve para ninguém. Se a página é útil para quem já está no site, como uma área de cliente ou um filtro de catálogo, ela precisa continuar existindo e apenas ficar fora do índice. Apagar resolve um problema e cria outro.
Continue lendo
O guia de SEO técnico para quem precisa de resultado, não de jargão
Rastreamento, indexação, performance e arquitetura explicados sem jargão, com uma auditoria em sete etapas que você consegue rodar no seu próprio site.
Ler artigo SEO técnicoO sitemap XML declara ao Google quais páginas do seu site realmente importam
Um sitemap não força indexação: ele declara quais URLs você considera canônicas. Veja o que incluir, o que deixar de fora e como validar o arquivo.
Ler artigo SEO técnicoComo diagnosticar a indexação no Google usando o relatório de páginas do Search Console
Rastreada mas não indexada, descoberta não indexada, duplicada sem canônica: o que cada aviso do Search Console quer dizer e o que fazer em cada caso.
Ler artigo