El robots.txt de Google

El buscador por excelencia tiene también su propio fichero robots.txt para evitar que las arañas de otros buscadores ( e incluso las suyas ) exploren los ciertos contenidos que ofrece de Google.

Mirando el fichero se pueden ver la multitud de servicios que ofrece la compañía. Por ejemplo:

• Búsqueda en servidores cuyos dominios son .gov, .mil ó .us.
• Búsqueda de términos relacionados con linux.
• Búsqueda de términos relacionados con Microsoft.
• Busca términos relacionados con los Sistema Operativo BSD.
• Busca dentro de todo lo relacionado con Apple y Macintosh.
• Búsquedas de términos patrocinados.
• Búsquedas relacionadas con el huracán Katrina (ya no disponible)
• Trazador de caminos usando Google Maps