Nuove feature di Google Webmaster Center
Adesso l’analisi del file robot.txt ha abilitato il riconoscimento della dichiarazione sitemap.
Per esempio una sitmap del genere
disalow images
user-agent: *
Disallow:
sitemap: http://www.example.com/sitemap.xml
Un’altra importante aggiunta consiste nel REP Includendo un codice come per esempio:
X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST
Si forzerà il motore a non considerare la pagna fino alla scadenza della data.
Altri approfondimneti sul tema su Google Webmaster Central Blog.
Ottimo articolo