Ver Mensaje Individual
  #2 (permalink)  
Antiguo 04/04/2012, 12:03
hombreman
 
Fecha de Ingreso: febrero-2012
Ubicación: México
Mensajes: 227
Antigüedad: 12 años, 2 meses
Puntos: 48
Respuesta: saber si mi robots es correcto

El asterisco (*) es un comodín. No tendrías que, además del comodín, especificar las mismas reglas una y otra vez para los distintos crawlers.

Vale también para crawl-delay.

Con excepción de las repeticiones innecesarias, es correcto.