Cómo lo hace el buscador?

[pateketrueke]

deberias darte una leeida acerca de los spiders o robots (no .TXT) mejor conocidos como Web Bots...

un buscador manda asus pekeño robots a indagar por el archivo robots.txt ((ahora si)) y/o en las META de nuestros archivos ((algunos)) asi se va haciendo de su indice, para hacer un buen uso de los buscadores recomiendo que te inscribas a sus servicios... ((el de Google es gratis)) no se de los demas, tambien puede indagar a google sobre las API de los buscadores que desees... asi como muchas aplicaciones que se pueden implementar en PHP como Twitter, Flickr... etc...

asi es como funciona esto, de ejemplo... busca: Google custom search ((por ejemplo)) espero ayudar...