Técnicas SEO – robots

Os motores de busca da web, como o Google, Yahoo e o Bing, são programas desenhados para procurar palavras-chave em documentos e páginas mantidos em servidores web. Esses documentos são as páginas de sites hospedados nesses servidores. As técnicas SEO robots ajudam a evitar que determinadas páginas sejam achadas pelos mecanismos de busca.

Nessas pesquisas, os motores de busca podem, eventualmente, acessar informações de documentos sem conteúdo relevante ou armazenados em pastas igualmente irrelevantes para o público comum.

Para evitar estes casos, usamos técnicas SEO robots através de um arquivo “robots.txt” para funcionar como filtro para os robôs (motores de busca), de modo que os programadores web controlem permissões de acesso a determinados arquivos e diretórios de sites.

Os arquivos “robots.txt” controlam quais informações de um site devem ou não serem indexadas por sites de busca. Este arquivo deve ser colocado na raiz do site, no host.

Sintaxes do robots.txt

Os arquivos robots.txt criam regras de acesso para os robots e possuem sintaxe própria. Os principais comandos são:

» Google: User-agent: Googlebot
» Google Imagens: User-agent: Googlebot-images
» Google Adwords: User-agent: Adsbot-Google
» Google Adsense: User-agent: Mediapartners-Google
» Yahoo: User-agent: Slurp
» Bing: User-agent: Bingbot
» Todos os mecanismos: User-agent: * (ou não incluir o comando user-agent)

» Disallow: /prod – orienta aos robots a não indexarem pastas ou arquivos que comecem com “prod”;
» Disallow: /prod/ – orienta aos robots a não indexarem conteúdo dentro da pasta “prod”;
» Disallow: teste.html – orienta aos robots a não indexarem conteúdo da página teste.html.

» Disallow: /passwords
» Allow: /passwords/confidential

» Sitemap: http://www.google.com/hostednews/sitemap_index.xml
» Sitemap: http://www.google.com/sitemaps_webmasters.xml
» Sitemap: http://www.google.com/ventures/sitemap_ventures.xml
» Sitemap: http://www.gstatic.com/dictionary/static/sitemaps/sitemap_index.xml
» Sitemap: http://www.gstatic.com/earth/gallery/sitemaps/sitemap.xml
» Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml
» Sitemap: http://www.gstatic.com/trends/websites/sitemaps/sitemapindex.xml

Exemplos de robots:

Google: www.google.com.br/robots.txt
Facebook: www.facebook.com/robots.txt
Twitter: https://twitter.com/robots.txt
Criandobits: www.criandobits.com.br/robots.txt

Só devemos ter cuidado para não incluir informações confidenciais dentro dos arquivos robots.txt, pois os mesmos são de fácil acesso.

Dúvidas ou sugestões? Deixem nos comentários! Para mais dicas, acesse o nosso canal no YouTube:
https://youtube.com/criandobits

Tags: seo

O seu computador está lento, travando ou dando tela azul… e você não faz ideia do que fazer?

Saiba que isso pode estar te fazendo perder dinheiro — seja com manutenção cara ou oportunidades que você está deixando passar.

Com o Super Técnico 2.0, você aprende na prática como diagnosticar defeitos, montar computadores do zero e fazer upgrades que realmente aumentam o desempenho, mesmo que você esteja começando do absoluto zero.

Você pode usar esse conhecimento para:

✔ Resolver seus próprios problemas sem depender de ninguém
✔ Ganhar dinheiro com manutenção e suporte técnico
✔ Ou até entrar de vez no mercado de TI

Tudo com aulas diretas ao ponto, sem enrolação e focadas no que realmente funciona no dia a dia.

👉 CLIQUE AQUI AGORA e veja todos os detalhes antes que essa oportunidade passe: