Foros del Web » Programando para Internet » PHP »

Robots.txt

Estas en el tema de Robots.txt en el foro de PHP en Foros del Web. He notado la implementacion de este archivo en muchos sites php, incluyendo las aplicaciones nuke y bb el contenido es mas o menos asi: User-agent: ...
  #1 (permalink)  
Antiguo 15/07/2003, 06:41
Avatar de davidMS  
Fecha de Ingreso: abril-2003
Ubicación: Chepe
Mensajes: 202
Antigüedad: 14 años, 7 meses
Puntos: 0
Robots.txt

He notado la implementacion de este archivo en muchos sites php, incluyendo las aplicaciones nuke y bb el contenido es mas o menos asi:
User-agent: *
Disallow: admin.php
Disallow: config
Disallow: header
Disallow: footer
Disallow: pntables
Disallow: referer
Disallow: /images
Disallow: /includes
Disallow: /modules/NS-
Disallow: /pnadodb
Disallow: /themes

alguien sabe para que es?
  #2 (permalink)  
Antiguo 15/07/2003, 06:46
Ex Colaborador
 
Fecha de Ingreso: junio-2002
Mensajes: 9.091
Antigüedad: 15 años, 5 meses
Puntos: 16
Hola,

Este fichero no tiene relacion con PHP. Es un sistema estandard para "controlar" los bots, crawlers y spiders que visitan nuestro sitio web. Lo puedes usar con sitios exclusivamente hechos con HTML. Solo tienes que ponerlo en el directorio raiz de tu sitio. Sirve para prohibir o permitir que dichos bots lean determinados ficheros o directorios. Asi es como puedes evitar que google lea e indexe ficheros que no quieres que indexe. Para mas info, busca el google "robots.txt".

Saludos.
__________________
Josemi

Aprendiz de mucho, maestro de poco.
  #3 (permalink)  
Antiguo 15/07/2003, 06:49
Avatar de davidMS  
Fecha de Ingreso: abril-2003
Ubicación: Chepe
Mensajes: 202
Antigüedad: 14 años, 7 meses
Puntos: 0
pura vida josemi.............
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 01:02.