Ver Mensaje Individual
  #9 (permalink)  
Antiguo 20/06/2008, 16:25
Avatar de Daniel Ulczyk
Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.264
Antigüedad: 19 años, 2 meses
Puntos: 2114
Respuesta: Eliminar URLs vía robots.txt ???

Cita:
Iniciado por ASLAN Ver Mensaje
Otra duda
Para qué sirve la máscara $

Ejemplo:
User-agent: *
Disallow: /*.gif$

Gracias
En robotstxt.org no encontré referencia alguna; fuente que consulté ya que nunca vi esa máscara.
Precisamente Alicorna, cita en su blog (en una entrada de fecha de hoy):

Cita:
Please note that this method is not correct or valid in the usual protocol, so while it works fine for Googlebot, don't try to apply it to any other search engine bot (or your site may be excluded entirely and therefore not even get the pages indexed).
Este método no es correcto o válido en el protocolo actual, mientras esto trabaja bien para Googlebot, no intente aplicarlo en ningún otro bot de un motor de búsqueda (...).

La finalidad de esa máscara es para precisamente remover todos los archivos que llevan esa máscara. Fuente: Web Tools
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)