Listado de todas las webs del mundo

ertomasillo · #1 (**permalink**) 10/04/2010, 10:06

Tengo un problema, ¿Como puedo obtener un listado de todas las webs del mundo?
Se que tiene que ser un archivo o una base de datos gigantesca, pero es que me lo piden en un proyecto, que salga una web aleatoria de todas las que existen para mostrar informacion sobre ella y que obligatoriamente tengo que tener un listado de todas las webs del mundo en uan base de datos mysql. No se como encontrarlo

¿Existe alguna base de datos de los dns o algo asi?

Heli0s · #2 (**permalink**) 10/04/2010, 10:34

Yo creo que eso no es posible, los servidores DNS lo que hacen es preguntar al servidor primario de un dominio para resolverlo, pero cuando tu ya le has indicado un dominio, no es que los servidores DNS posean una lista de todas las webs del mundo.

Lo único que puede tener algo parecido son los servidores whois, los que se dedican de devolverte los NS de un dominio, pero como anteriormente, tambien tienes que indicarle un dominio, no te dan acceso a toda su base de datos.

Yo pienso que no es posible pero tampoco te lo puedo asegurar.

Un saludo

ertomasillo · #3 (**permalink**) 10/04/2010, 10:47

ummmmsss.... y creando un spider? puedo crear un spider que recorra la web y meta las urls en una base de datos mysql no? lo que nose es crear un spider jaja

GatorV · #4 (**permalink**) 10/04/2010, 10:50

Tema movido desde PHP a Web general

jackson666 · #5 (**permalink**) 10/04/2010, 10:51

No se quien te habra dicho eso... Pero imaginate que tendrias que tener una base datos del tamaño de la de Google mas o menos... No se quien te habra pedido eso ni para que, pero yo que el lo pienso un poco mejor...

Heli0s · #6 (**permalink**) 10/04/2010, 10:54

A mi me parece una barbaridad, y dudo que Google use una base de datos MySQL para almacenar tal cantidad de información.

Un saludo

ertomasillo · #7 (**permalink**) 10/04/2010, 11:03

pero la base de datos de google tiene mucha informacion de las webs, yo solo querria el nombre de estas, aunque tambien será una base de datos gigantesca

Heli0s · #8 (**permalink**) 10/04/2010, 11:04

Eso reduce el numero de campos en la tabla, pero no el numero de registros.

Willy_N · #9 (**permalink**) 10/04/2010, 11:14

¿Un listado con los nombres de muchos millones de webs?

Ocuparía más folios que el sumario del caso Gürtel.

¿Estás seguro que no están intentando gastarte una broma?

Carlangueitor · #10 (**permalink**) 10/04/2010, 14:24

No sería más fácil usar solo unas cuantas webs, que tal unas 1,000 o 3,000, y haces tu trabajo.

Saludos

Nemutagk · #11 (**permalink**) 10/04/2010, 14:33

En la practica esto es imposible, a menos que tengas una infraestructura enorme detrás de tu proyecto, pero si estas aquí preguntando esto es obvio que no es así, como comentan anteriormente no se quien ni mucho menos para que te solicitan eso, incluso Google dudo mucho que tenga registro de cada sitio web existente en Internet, que se acerque es otra cosa, lo que puedes hacer es lo que dice @Carlangueitor, crea una base de datos con un numero decente de sitios

ertomasillo · #12 (**permalink**) 13/04/2010, 10:42

bueno, le he preguntado al tutor y me ha dicho que al menos intente crear una araña que recopile informacion de webs en una base de datos, la verdad es que creando este spider me ahorraría mucho trabajo.

Sabeis de alguna forma de crearlo o algun tutorial?

Gracias

jvmjunior · #13 (**permalink**) 13/04/2010, 11:45

Hey!, yo tengo la misma gran duda, incluso estoy dispuesto a comprar un par de servidores pero eso es lo de menos......lo que quiero saber al igual que el autor de este hilo del foro es "Como puedo llenar mi base de datos con todas las webs posibles e indexarlas"??? en todo caso podríamos optar por captar sólo los dominios locales, en mi caso todos los .es por ejemplo.....

Porfavor, si alguien lo sabe nos sería de gran ayuda!!!!

Saludos.

Carlangueitor · #14 (**permalink**) 13/04/2010, 21:07

Necesitan saber algo de Programación, ¿cual manejan? Aquí algo de información báscia:
http://www.cyberhades.com/2009/02/15...er-web-spider/

Saludos

chichote · #15 (**permalink**) 14/04/2010, 08:50

Cita:

Iniciado por ertomasillo

bueno, le he preguntado al tutor y me ha dicho que al menos intente crear una araña que recopile informacion de webs en una base de datos, la verdad es que creando este spider me ahorraría mucho trabajo.

Sabeis de alguna forma de crearlo o algun tutorial?

Gracias

hay ya estas mejor, porq recopilar todas las web del mundo solo te lo pudo pedir alguien muy poco instruido o bien te gastaron una broma.

http://www.cyberhades.com/2009/02/15...er-web-spider/

saludos.

jvmjunior · #16 (**permalink**) 20/04/2010, 05:37

Cita:

Iniciado por Cherivera

hay ya estas mejor, porq recopilar todas las web del mundo solo te lo pudo pedir alguien muy poco instruido o bien te gastaron una broma.

[url]http://www.cyberhades.com/2009/02/15/creando-tu-propio-web-crawler-web-spider/[/url]

saludos.

de todos modos es la misma pregunta hecha de otra forma, el Spider tiene que servir para x enlaces como para xxxx² enlaces. Eso ya dependerá del que quiera invertir en mayor o menor cantidad de servidores.....

la gran pregunta es........ como se hace ese programa Spider???

y a propósito, esa referencia que nos das está muy interesante..
Saludos.