04/02/2011, 11:52
| ||||
| ||||
| robots.txt Un gran saludo, tengo una duda con el robot.txt que me encontre en un sitio no indexa bien y tenia este codigo que segun consulte es mas paraMediapartners-Google es el robot perteneciente a Google que encuentra páginas con adsense. esto me puede afectar la indexacion del siito? de antemano gracias User-agent: Mediapartners-Google Disallow: |
|
04/02/2011, 13:09
| |||
| |||
| Respuesta: robot.txt pues puede ser, entiendo que con ese robots.txt solo le das paso a los robots esos de mediapartners (sean de google o no). El disallow creo que no deberia afectar porque no especificas nada, pero vamos, a no ser que necesites algo en especial, metele un : User-agent:* y ya tienen acceso todos los bots, si ves que alguno te da por saco, lo bloqueas pero no debiera darte problema, en general. pd: importante si usas el robots.txt, QUITAR las metas de robots, ojino  |
| Etiquetas: |
