[SOLUCIONADO] sobre robots.txt

[fuzzylee]

hola buenas tardes a todos.
Aver yo no quiero que el "quienes somos, como comprar..." de mi web sea indexada por google, por lo cual si le digo al robot que excluya esta página no la va a indexar.
Pero en esta pagina mediante un include si meto la cabecera de mi web con el menu correspondiente para poder navegar.
La pregunta es, si la excluyo en el robot.txt, tambien estoy excluyendo los enlaces de la cabecera? o éstos al estar incluidos en todas las paginas si quedan indexados?

no se si me he explicado bien, pero gracias de todos modos.

[Daniel Ulczyk]

Entenderás que los motores de búsqueda 'no ven' los includes sino el HTML generado por el lenguaje del lado del servidor.

Si la página está declarada en robots.txt debiera ser ignorada por completo

[fuzzylee]

entonces lo que entiendo es que solo deben ser incluidas en el robot.txt la carpeta donde esten las fotos de la interfaz y si acaso el css, porque por lo general cualquier pagina de un sitio web contiene los enlaces del menu. Vamos que si quiero que google no indexe el carrito o las condiciones generales tendre que usar meta robot, no? ambas paginas tienen los enlaces de menus y enlaces que hacen referencia a productos de mi pagina.

[posicionseo]

si no queres que indexe "contacto" o "politica de privacidad" o "quienes somos" usas el robots.txct
DISALLOW: /contacto.html
DISALLOW: /quienesosmos.html

lo que vos decis de los enlaces, no tiene sentido.
ya que esas paginas son IRRELEVANTES para tu negocio en "cuanto a posicionamiento". Los enlaces internos que mas valen son los de la HOME y PRODUCTOS por ejemplo.

pero creo que estas confundido..

si le decis que no indexe esas paginas, no van a aaparecer en los resultados de busqueda!.

mejor hace asi: INDEXALAS y pone NOFOLLOW una meta etiqueta.
meta-robots=index,nofollow

[exatienda]

Si especificas solo la página final en el disallow del robots.txt, los buscadores solo ignoraran la página que hayas escrito y no el resto del dominio.

Si en vez de una página en concreto pones una carpeta del sitio web entonces sí que se ignorarán todos los archivos que contengan esa carpeta.

[fuzzylee]

vale gracias, lo hare como decis, estoy un poco confundido porque estoy empezando a posicionar y no quiero meter la pata.