27/05/2013, 08:10
|
| |
| mini google bot
simplemente como curiosidad, me gustaria poder o al menos saber como hacer para poder crear un pequeño robot de busqueda, basicamente lo unico que tendria que hacer es buscar paginas en internet y agregarlas a una base de datos pero no sabria como indicarle que empieze a navegar ni como decirle que vaya saltando de una web a otra.
tengo una pequeña idea.
para empezar le digo que analice una pagina web ej: www.ejemplo.com
y en esa web se ponga a leer todos los links que haya en ella, tanto internos como externos y todos los externos (simplemente comparando con el dominio) salte a ellos y vuelta a empezar.
pero como le hago que "navegue" por una web, osea que siga los links?, quizas pueda sar un poco complicado pero estoy muy interesado. |