Podemos ocultar el archivo al buscador (1) o a los usuarios (2):

1. Si lo que queremos es simplemente que el buscador de Google no indexe en sus resultados nuestro archivo robots.txt, sólo hay que asegurarse de que el robots.txt esté en su ruta correcta: http://www.example.com/robots.txt. Ahora Google sabe que ese es nuestro robots y no lo mostrará en las SERPS.

2. Si tenemos el robots.txt en su ruta correcta, los usuarios puedes hacer la prueba y acceder por su ruta típica: http://www.example.com/robots.txt y ver su contenido, lo que significa que podrá ver aquellas páginas que en realidad queremos ocultar al buscador y a los visitantes.

Aquí lo importante del post: Para ocultar robots.txt al acceder por su URL tendremos que insertar este código en el archivo .htaccess de nuestra web:

Order Deny,Allow
Deny from All

Ahora si cualquier visitante accede a nuestra url de robots.txt aparecerá este mensaje de PROHIBIDO, no tienes permiso para acceder al robots.txt de este servidor.

PERO, CUIDADO! Ahora ni los usuarios ni los buscadores pueden acceder a esta url.

3. Si queremos que los usuarios no accedan por url, pero damos permiso al Robot de Google:

Order Deny,Allow
Deny from All
Allow from googlebot.com google.com google-analytics.com

Habría que dar permiso también al resto de buscadores…como Yahoo.

Espero sea de utilidad 🙂

by