Evitar indexar una pagina web

[joaquincreatividad]

Hola amigos mi pregunta es (estuve leyendo pero no entendi bien). saber si estoy en lo correcto tengo una pagina web en la cual una sección que posee quiero que no se indexe si bien aplique la meta etiqueta en dicha seccion:

<meta name="robots" content="noindex, nofollow" />

Para mayos seguridad tambien lo aplique en el robots.txt lo que no se es si estoy aplicando bien la regla ejemplo:

www.mipagina.com
www.mipagina.com/hola/
www.mipagina.com/texto/
www.mipagina.com/contacto/

La idea es que a la seccion de: www.mipagina.com/texto/ no sea indexado por google ni otros buscadores, por lo cual le agregue la etiqueta "<meta name="robots" content="noindex, nofollow" />"

y en el robots.txt coloque lo siguiente.

User-agent: *

Disallow: /www.mipagina.com/texto/

Entonces esta bien lo que estoy realizando?, comento algun error? que otras ideas me pueden dar? gracias

[garciasanchezdani]

Hola @joaquincreatividad , está bien hecho, yo siempre lo hago así.

Código HTML:

<meta name="robots" content="noindex, nofollow" />
 

El index/noindex sirve para indicar si se desea o no permitir la indexación de la página por los motores de búsqueda; mientras que follow/nofollow indica si se debe o no permitir a los motores de búsqueda recorrer o seguir recorriendo la web a través de los enlaces que encuentre en el cuerpo del documento.

Por tanto, está bien hecho el noindex/nofollow, yo lo haría así.

Saludos ;)

[Usuarios466]

Iniciado por joaquincreatividad

y en el robots.txt coloque lo siguiente.

User-agent: *

Disallow: /www.mipagina.com/texto/

Entonces esta bien lo que estoy realizando?, comento algun error? que otras ideas me pueden dar?

En el robots.txt lo correcto sería ponerlo de la siguiente forma:

User-agent: *

Disallow: /texto/