Accesibilidad de una Página Web: robots.txt
Optimizar una página web no tiene ningún sentido si los motores de búsqueda no pueden acceder a ella.
El archivo robots.txt, situado en la raíz del directorio principal, debe contener las instrucciones necesarias para que toda aquella información que deseamos sea indexada, este accesible para los bots. Si el archivo robots.txt contiene algún error, muchos motores de búsqueda no listarán las páginas.
Por otro lado, el código HTML de lás páginas debe estar libre de errores y nuestro servidor debe devolver el código de respuesta adecuado. Los contenidos de las páginas deben poder ser leidos por las arañas (spiders).
Antes de proceder a la optimización de nuestras páginas hay que comprobar que los motores de búsqueda pueden leerlas. Para comprobar el archivo robots.txt podemos utilizar Google’s Webmaster Tools.
Artículos Relacionados:
Si dispone de página web publíquela en el 
