Ver Mensaje Individual
  #1 (permalink)  
Antiguo 23/07/2017, 10:28
azaz
 
Fecha de Ingreso: enero-2011
Mensajes: 1.150
Antigüedad: 13 años, 3 meses
Puntos: 10
Bloquear sitio entero con robots.txt

Hola quiero bloquear un sitio entero para que los robots no lo rastreen pero solo quiero permitir que rastreen la pagina principal es decir la del index de mi sitio.
User-agent:*
Disallow:/


Pero ahora no se como decirle que si puede rastrear la pagina index.php podria poner
Allow:/index.php

Pero no creo que sea una buena idea ya que seria lo mismo:
dominio.com
Que
dominio.com/index.php

No estoy seguro si la solucion seria
Allow:

Sin pasarle nada.
Espero respuesta ya que estoy confuso.