Google introducerade för ett tag sedan en ny meta tag för att kunna tala om för Google ifall en sida ska tas bort från index vid ett speciellt tillfälle. Det här är en strålande “ny” meta tag enligt min åsikt eftersom man nu inte behöver oroa sig för innehålls med kort livslängd och behöva välja att kanske inte indexera en sida alls som man vet bara ska leva i kanske 3-4 veckor. Tidigare var ju valet att inte tillåta indexering alls genom en exkludering i robots.txt eller genom att behöva skriva en 301 Permanent Redirect när den väl tagits bort eller flyttats till ny adress.

Ett senario är ju en sida med ett erbjudande som gäller under en begränsad tid och som sedan hanteras på ett annat sätt. Kanske gratis nedladdning under en kortare period och sedan flyttas den nedladdningen in, innanför login som andra erbjudanden. Kan ju vara ett tidsbegränsat erbjudande pga av få kvar. Tänk platser till en föreläsning eller en fåtal koncert biljetter kvar. Ja, användningsområdet är ju nästan obegränsat, men så skönt att bara kunna lägga ut en ny sida och veta att man inte har några problem med gammal info liggande i Google efter datumet man själv vet redan vid utläggning av dokumentet.

Meta-tagen är unavailable_after och ska skrivas med datum och tid i RFC 850 Format.

För att specificera att ett dokument ska tas bort efter ex. den 12 december så skriver man så här:

Enligt Google så är det en förfrågan om borttagning och dokumentet ska tas bort till dagen efter. Officiellt skriver de så här:

This information is treated as a removal request: it will take about a day after the removal date passes for the page to disappear from the search results. We currently only support unavailable_after for Google web search results.

Du kan läsa mer om X-Robots-Tag och om unavaiable_after på original posten på Offical Google Blog