Como conseguir los index

[jvmjunior]

Hola,

Estoy haciendo un minibuscador, y quisiera saber como se hace para cargar mi base de datos de forma automatizada con todos los enlaces de cierto dominio, por ejemplo todos los .es (www.ejemplo.es).

Estuve leyendo que Google lo hace con sus "robots" que todo el tiempo estan visitando las páginas y demás cosas, pero no se especifica como se hace.

Porfavor, alguien sabe como se hace eso?

Muchas gracias de antemano.