Hola 
Me gustaría saber  de que forma indexan los buscadores cómo Google, Altavista, alltheweb, etc...,   la información de las páginas webs que ofrecen posteriormente en la lista de resultados de busqueda.
 
Enlazando con la consulta anterior me gustaría saber lo siguiente:
Imaginar que yo deseo hacer  un periódico on-line y para facilitar la tarea a mis visitantes quiero crear un buscador interno para mi web,  donde introduciendo una palabra aparezcan todos los artículos que la contengan. 
Mi preguntas son: 
¿Los artículos han de estar en un campo dentro de la base de datos?
En el caso de que  quiera que mi buscador  también busque artículos de otros medios de prensa externos a mi pagina web ¿como lo podría hacer?.
¿Tendría que indexar todos los artículos de  ese otro periodico on-line a mi base de datos para que mi buscador tb pudiera rescatar esos artículos para mis visitantes?.
¿Cómo funcionan los robots o spiders de los buscadores para actualizar sus bases de datos?
 
Segun he leido, los programas de Altavista o Excite están hechos con C/C++. 
¿Con PHP se pude hacer algo similar?
 
Si me pudierais contestar o dirigir a algun manual  donde tb pudieran existir ejemplos de codigo en PHP os lo agradecería. 
 
Gracias anticipadas.
Un saludo cordial. 
   
 

