robots.txt – Um arquivo especial
Olá Pessoal,
Sabemos que no mundo de “Ganhe dinheiro com a Web”, quem tiver mais técnica, com certeza ocupará a primeira opção nos buscadores, como por exemplo o Google.
Existem diversos métodos, para se aparecer em primeiro nos buscadores, um deles é o robots.txt, do qual falaremos agora.
Esse arquivo, deverá sempre constar na raiz do site, para que os Rôbos de Pesquisa, assim que passem pelo seu site, possam examiná-lo e tomar decisões corretas.
O robots.txt, podem habilitar ou desabilitar, acesso aos conteúdos, do seu site.
Vejamos um simples exemplo de robots.txt :
User-agent:
Disallow:
User-agent : É quem indica o rôbo de pesquisa, por exemplo o Googlebot.
Disallow: aqui desabilitamos o conteúdo que você desejar
Vejamos agora um exemplo mais completo e melhorado para o WordPress, o CMS que uso no momento:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tags/
Então nesse arquivo estou dizendo o seguinte, para todos os Rôbos de Pesquisa, leia todos os arquivos, menos os listados em Disallow. Sendo assim, o Rôbo de pesquisa passará pelo seu site, lerá o conteúdo, porém desabilitará os citados no arquivo do robots.txt
Existe uma solução parecida, que é colocar o que o Rôbo de Pesquisa deverá fazer, dentro de uma meta-tag.
Vejamos um exemplo típico de meta-tag:
Onde :
ROBOTS : Avisa os Rôbos de Pesquisa que ele está ali ;
NOINDEX : Diz que a página não pode ser indexada ;
NOFOLLOW: Diz que os conteúdos da página, não deverão ser analisados.
Um abraço !