24/08/2016, 18:21
|
 | | | Fecha de Ingreso: abril-2015
Mensajes: 117
Antigüedad: 9 años Puntos: 5 | |
| por qué es necesario el robots.txt?
Lo pregunto en SEO ya que estos dos archivitos paecen ser de importancia capital de caraa al posicionamiento. Si no es el sitio adecuado, mis disculpas.
Ya sé que es una pregunta de novato total (yo lo soy), pero os pregunto:
El robots.txt es para decirle a los buscadores las partes de nuestra web que no deben indexar, ¿no?
Y el sitemap.xml les dice lo que deben indexar...
Pero entonces, ¿para qué es necesario escribir un robots.txt si se supone que ya en el sitemap le decimos a los buscadores lo que deben indexar? ¿Por qué además hay que decirles lo que NO se debe indexar con el robots.txt? Se supone que por omisión en el sitemaps, las URLs que ahí no se pongan, no las indexaría...
Un saludo. |