24 febrero 2006

El robots.txt de Google

El buscador por excelencia tiene también su propio fichero robots.txt para evitar que las arañas de otros buscadores ( e incluso las suyas ) exploren los ciertos contenidos que ofrece de Google.

Mirando el fichero se pueden ver la multitud de servicios que ofrece la compañía. Por ejemplo:

0 Comments:

Publicar un comentario

Links to this post:

Crear un enlace

<< JataHome