Foros del Web » Estrategias Digitales y Negocios Online » SEO »

Robots.txt

Estas en el tema de Robots.txt en el foro de SEO en Foros del Web. Buenas, tengo que eliminar mi página web de los buscadores ya que la empresa en la que trabajaba me ha notificado que cierto contenido de ...
  #1 (permalink)  
Antiguo 21/01/2017, 23:19
 
Fecha de Ingreso: marzo-2014
Mensajes: 26
Antigüedad: 5 años, 3 meses
Puntos: 0
Robots.txt

Buenas, tengo que eliminar mi página web de los buscadores ya que la empresa en la que trabajaba me ha notificado que cierto contenido de mi sitio web no puede estar a la vista por razones de confidencialidad.

De momento he puesto una contraseña de acceso, pero quiero asegurarme de no aparecer en Google tampoco.

Entonces he hecho uso del robots.txt pero no parece funcionar del todo.


He escrito lo siguiente:

Código HTML:
User-agent: *
Disallow: /
Pero sigue apareciendo mi página en los resultados Google, solo que en lugar de la descripción que había, ahora aparece lo siguiente:

"No hay disponible una descripción de este resultado debido al archivo robots.txt de este sitio."

Para colmo, el contenido concreto que quiero ocultar (la página interior) también aparece en los resultados de Google, aunque no es accesible por la contraseña, pero tiene el nombre del proyecto "secreto" y me gustaría que no apareciese.



¿Que otra cosa puedo hacer?


Un saludo.
  #2 (permalink)  
Antiguo 22/01/2017, 06:48
Avatar de petit89  
Fecha de Ingreso: marzo-2011
Mensajes: 1.014
Antigüedad: 8 años, 4 meses
Puntos: 149
Respuesta: Robots.txt

Para evitar que los rastreadores web de la mayoría de motores de búsqueda indexen una página de tu sitio, coloca esta metaetiqueta en la sección <head> de tu página:

Código HTML:
Ver original
  1. <meta name="robots" content="noindex">

Para evitar que solo los rastreadores web de Google puedan indexar una página:

Código HTML:
Ver original
  1. <meta name="googlebot" content="noindex">
__________________
█ WebHosting / Reseller a bajo costo | Uptime Garantizado | Soporte en Español e Ingles
¿Te sirvió la respuesta? Deja un +1 (Triangulo negro al lado derecho)
  #3 (permalink)  
Antiguo 22/01/2017, 08:52
 
Fecha de Ingreso: marzo-2014
Mensajes: 26
Antigüedad: 5 años, 3 meses
Puntos: 0
Respuesta: Robots.txt

Gracias, ¿y cuanto tarde en desaparecer de Google?
  #4 (permalink)  
Antiguo 22/01/2017, 08:57
Avatar de petit89  
Fecha de Ingreso: marzo-2011
Mensajes: 1.014
Antigüedad: 8 años, 4 meses
Puntos: 149
Respuesta: Robots.txt

Tienes que revisar en los resultados de Google cuando fue la ultima vez que tu web fue visitada por este... la información la encuentras en una pestaña al final de la URL en el bloque de resultados que cuando das click dice Cache... de esa ultima fecha puedes contar un maximo de 7 dias para que vuelva a visitar la web y tome efecto los cambios realizados
__________________
█ WebHosting / Reseller a bajo costo | Uptime Garantizado | Soporte en Español e Ingles
¿Te sirvió la respuesta? Deja un +1 (Triangulo negro al lado derecho)
  #5 (permalink)  
Antiguo 25/01/2017, 08:19
Avatar de Ito79  
Fecha de Ingreso: diciembre-2013
Mensajes: 71
Antigüedad: 5 años, 7 meses
Puntos: 18
Respuesta: Robots.txt

Hola,
También puedes usar la herramienta de Google para solicitar que no te aparezca temporalmente, durante 90 días al menos. Al eliminarlo temporalmente, la gente no va a poder acceder, irá bajando de posiciones y tarde o temprano el rastreador de google pasará muy poco por tu web (y encima lo bloquearás) y acabará "por desaparecer".

Es un poco engorro pero poco más puedes hacer, si está en internet, es "público" (luego restringes con contraseña y evitas q nadie entre, pero el saber que está ahí es más complicado de parar).

Esta es la URL de la herramienta:
https://www.google.com/webmasters/tools/url-removal

Si no estás dado de alta en Search Console para tu sitio, consulta la ayuda de Google:
https://support.google.com/webmaster...make-permanent

Espero que sirva
Un saludo

// Ito
  #6 (permalink)  
Antiguo 25/01/2017, 10:44
 
Fecha de Ingreso: marzo-2014
Mensajes: 26
Antigüedad: 5 años, 3 meses
Puntos: 0
Respuesta: Robots.txt

Muchisimas gracias a los dos, me ha servido mucho.

Voy a bloquearla y a ver si en ese tiempo deja de aparecer en los resultados con el noindex.

Una última cosa, ¿es compatible el noindex con la configuración del robots.txt que tenía?

Un saludo.
  #7 (permalink)  
Antiguo 25/01/2017, 16:52
Avatar de petit89  
Fecha de Ingreso: marzo-2011
Mensajes: 1.014
Antigüedad: 8 años, 4 meses
Puntos: 149
Respuesta: Robots.txt

Si, es compatible... no generará ningun problema...
__________________
█ WebHosting / Reseller a bajo costo | Uptime Garantizado | Soporte en Español e Ingles
¿Te sirvió la respuesta? Deja un +1 (Triangulo negro al lado derecho)
  #8 (permalink)  
Antiguo 20/02/2017, 18:32
Avatar de internetdominus  
Fecha de Ingreso: noviembre-2005
Ubicación: Estados Unidos
Mensajes: 521
Antigüedad: 13 años, 8 meses
Puntos: 12
Respuesta: Robots.txt

Tambien podrias usar un "deny from all" para ese archivo/pagina especificamente.
  #9 (permalink)  
Antiguo 24/02/2017, 09:55
Avatar de Tedel  
Fecha de Ingreso: enero-2011
Ubicación: Lima
Mensajes: 2.744
Antigüedad: 8 años, 5 meses
Puntos: 444
Respuesta: Robots.txt

Cita:
Iniciado por Gorgonzola Ver Mensaje
Gracias, ¿y cuanto tarde en desaparecer de Google?
Entre uno y tres meses.
__________________
Soy el autor de Heptagrama y tengo un servicio "todo incluido" de marketing web.

Etiquetas: contenido, google, poco
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 18:25.