Ottimizzazione del file robots.txt

Ho apportato ulteriori modifiche al file robots.txt, specificando differenti policy di accesso alle risorse del sito in base al tipo di motore di ricerca che accede. In particolare, al fine di evitare che vengano indicizzati contenuti duplicati con conseguente effetto negativo sul ranking, ho bloccato l’accesso del motore di ricerca in particolare per le seguenti risorse:

• archivi per mese;
• tags;
• risorse non puramente testuali come files css, zip, js, ecc;
• feeds RSS;
• trackback url;

Ecco quindi come si presenta ora il mio file robots.txt:

User-agent: *
Disallow: /blog/wp-
Disallow: /blog/contatti
Disallow: /blog/tag/
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/2006/0
Disallow: /blog/2006/1
Disallow: /blog/2007/0
Disallow: /blog/2007/1
Disallow: /extras/stats/download.php
Disallow: /old
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /extras/stats/download.php
Disallow: /blog/*/feed/
Disallow: /blog/*/trackback/
Disallow: /feed
Disallow: /*?*
Disallow: /*?
Disallow: /blog/*/http:
Disallow: /blog/2006/0*
Disallow: /blog/2007/0*
Disallow: /blog/2006/1*
Disallow: /blog/2007/1*
Disallow: /blog/2007/2*
Disallow: /old
User-agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google*
Disallow:

Potrete poi notare che per quanto riguarda Googlebot-Image che si occupa dell’indicizzazione delle immagini e Mediapartners-Google non ho voluto imporre alcuna restrizione.