Foros del Web » Creando para Internet » Diseño web »

Listado de todas las webs del mundo

Estas en el tema de Listado de todas las webs del mundo en el foro de Diseño web en Foros del Web. Tengo un problema, ¿Como puedo obtener un listado de todas las webs del mundo? Se que tiene que ser un archivo o una base de ...
  #1 (permalink)  
Antiguo 10/04/2010, 11:06
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 8 años, 7 meses
Puntos: 3
Pregunta Listado de todas las webs del mundo

Tengo un problema, ¿Como puedo obtener un listado de todas las webs del mundo?
Se que tiene que ser un archivo o una base de datos gigantesca, pero es que me lo piden en un proyecto, que salga una web aleatoria de todas las que existen para mostrar informacion sobre ella y que obligatoriamente tengo que tener un listado de todas las webs del mundo en uan base de datos mysql. No se como encontrarlo

¿Existe alguna base de datos de los dns o algo asi?
  #2 (permalink)  
Antiguo 10/04/2010, 11:34
Avatar de Heli0s  
Fecha de Ingreso: abril-2010
Mensajes: 789
Antigüedad: 7 años, 8 meses
Puntos: 40
Respuesta: Listado de todas las webs del mundo

Yo creo que eso no es posible, los servidores DNS lo que hacen es preguntar al servidor primario de un dominio para resolverlo, pero cuando tu ya le has indicado un dominio, no es que los servidores DNS posean una lista de todas las webs del mundo.

Lo único que puede tener algo parecido son los servidores whois, los que se dedican de devolverte los NS de un dominio, pero como anteriormente, tambien tienes que indicarle un dominio, no te dan acceso a toda su base de datos.

Yo pienso que no es posible pero tampoco te lo puedo asegurar.

Un saludo
  #3 (permalink)  
Antiguo 10/04/2010, 11:47
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 8 años, 7 meses
Puntos: 3
Respuesta: Listado de todas las webs del mundo

ummmmsss.... y creando un spider? puedo crear un spider que recorra la web y meta las urls en una base de datos mysql no? lo que nose es crear un spider jaja
  #4 (permalink)  
Antiguo 10/04/2010, 11:50
Avatar de GatorV
$this->role('moderador');
 
Fecha de Ingreso: mayo-2006
Ubicación: /home/ams/
Mensajes: 38.567
Antigüedad: 11 años, 6 meses
Puntos: 2122
Tema movido desde PHP a Web general
  #5 (permalink)  
Antiguo 10/04/2010, 11:51
Avatar de jackson666  
Fecha de Ingreso: noviembre-2009
Ubicación: Buenos Aires, Argentina
Mensajes: 1.971
Antigüedad: 8 años, 1 mes
Puntos: 65
Respuesta: Listado de todas las webs del mundo

No se quien te habra dicho eso... Pero imaginate que tendrias que tener una base datos del tamaño de la de Google mas o menos... No se quien te habra pedido eso ni para que, pero yo que el lo pienso un poco mejor...
__________________
HV Studio
Diseño y desarrollo web
  #6 (permalink)  
Antiguo 10/04/2010, 11:54
Avatar de Heli0s  
Fecha de Ingreso: abril-2010
Mensajes: 789
Antigüedad: 7 años, 8 meses
Puntos: 40
Respuesta: Listado de todas las webs del mundo

A mi me parece una barbaridad, y dudo que Google use una base de datos MySQL para almacenar tal cantidad de información.


Un saludo
  #7 (permalink)  
Antiguo 10/04/2010, 12:03
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 8 años, 7 meses
Puntos: 3
Respuesta: Listado de todas las webs del mundo

pero la base de datos de google tiene mucha informacion de las webs, yo solo querria el nombre de estas, aunque tambien será una base de datos gigantesca
  #8 (permalink)  
Antiguo 10/04/2010, 12:04
Avatar de Heli0s  
Fecha de Ingreso: abril-2010
Mensajes: 789
Antigüedad: 7 años, 8 meses
Puntos: 40
Respuesta: Listado de todas las webs del mundo

Eso reduce el numero de campos en la tabla, pero no el numero de registros.
  #9 (permalink)  
Antiguo 10/04/2010, 12:14
Avatar de Willy_N  
Fecha de Ingreso: diciembre-2009
Ubicación: Cádiz
Mensajes: 334
Antigüedad: 8 años
Puntos: 18
Respuesta: Listado de todas las webs del mundo

¿Un listado con los nombres de muchos millones de webs?

Ocuparía más folios que el sumario del caso Gürtel.

¿Estás seguro que no están intentando gastarte una broma?
  #10 (permalink)  
Antiguo 10/04/2010, 15:24
Avatar de Carlangueitor
Moderador ლ(ಠ益ಠლ)
 
Fecha de Ingreso: marzo-2008
Ubicación: México
Mensajes: 9.968
Antigüedad: 9 años, 8 meses
Puntos: 1314
Respuesta: Listado de todas las webs del mundo

No sería más fácil usar solo unas cuantas webs, que tal unas 1,000 o 3,000, y haces tu trabajo.

Saludos
__________________
Grupo Telegram Docker en Español
  #11 (permalink)  
Antiguo 10/04/2010, 15:33
Avatar de Nemutagk
Colaborador
 
Fecha de Ingreso: marzo-2004
Ubicación: México
Mensajes: 2.633
Antigüedad: 13 años, 8 meses
Puntos: 406
Respuesta: Listado de todas las webs del mundo

En la practica esto es imposible, a menos que tengas una infraestructura enorme detrás de tu proyecto, pero si estas aquí preguntando esto es obvio que no es así, como comentan anteriormente no se quien ni mucho menos para que te solicitan eso, incluso Google dudo mucho que tenga registro de cada sitio web existente en Internet, que se acerque es otra cosa, lo que puedes hacer es lo que dice @Carlangueitor, crea una base de datos con un numero decente de sitios
__________________
Listo?, tendría que tener 60 puntos menos de IQ para considerarme listo!!!
-- Sheldon Cooper
http://twitter.com/nemutagk
PD: No contestaré temas vía mensaje personal =)
  #12 (permalink)  
Antiguo 13/04/2010, 11:42
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 8 años, 7 meses
Puntos: 3
Respuesta: Listado de todas las webs del mundo

bueno, le he preguntado al tutor y me ha dicho que al menos intente crear una araña que recopile informacion de webs en una base de datos, la verdad es que creando este spider me ahorraría mucho trabajo.

Sabeis de alguna forma de crearlo o algun tutorial?

Gracias
  #13 (permalink)  
Antiguo 13/04/2010, 12:45
 
Fecha de Ingreso: marzo-2009
Mensajes: 62
Antigüedad: 8 años, 8 meses
Puntos: 0
Exclamación Respuesta: Listado de todas las webs del mundo

Hey!, yo tengo la misma gran duda, incluso estoy dispuesto a comprar un par de servidores pero eso es lo de menos......lo que quiero saber al igual que el autor de este hilo del foro es "Como puedo llenar mi base de datos con todas las webs posibles e indexarlas"??? en todo caso podríamos optar por captar sólo los dominios locales, en mi caso todos los .es por ejemplo.....

Porfavor, si alguien lo sabe nos sería de gran ayuda!!!!

Saludos.
  #14 (permalink)  
Antiguo 13/04/2010, 22:07
Avatar de Carlangueitor
Moderador ლ(ಠ益ಠლ)
 
Fecha de Ingreso: marzo-2008
Ubicación: México
Mensajes: 9.968
Antigüedad: 9 años, 8 meses
Puntos: 1314
Respuesta: Listado de todas las webs del mundo

Necesitan saber algo de Programación, ¿cual manejan? Aquí algo de información báscia:
http://www.cyberhades.com/2009/02/15...er-web-spider/

Saludos
__________________
Grupo Telegram Docker en Español
  #15 (permalink)  
Antiguo 14/04/2010, 09:50
Avatar de chichote
Colaborador
 
Fecha de Ingreso: diciembre-2004
Ubicación: Santiago - Chile
Mensajes: 1.868
Antigüedad: 13 años
Puntos: 145
Respuesta: Listado de todas las webs del mundo

Cita:
Iniciado por ertomasillo Ver Mensaje
bueno, le he preguntado al tutor y me ha dicho que al menos intente crear una araña que recopile informacion de webs en una base de datos, la verdad es que creando este spider me ahorraría mucho trabajo.

Sabeis de alguna forma de crearlo o algun tutorial?

Gracias
hay ya estas mejor, porq recopilar todas las web del mundo solo te lo pudo pedir alguien muy poco instruido o bien te gastaron una broma.

http://www.cyberhades.com/2009/02/15...er-web-spider/

saludos.
__________________
http://chicho.ninja yiaaaa
  #16 (permalink)  
Antiguo 20/04/2010, 06:37
 
Fecha de Ingreso: marzo-2009
Mensajes: 62
Antigüedad: 8 años, 8 meses
Puntos: 0
Respuesta: Listado de todas las webs del mundo

Cita:
Iniciado por Cherivera Ver Mensaje
hay ya estas mejor, porq recopilar todas las web del mundo solo te lo pudo pedir alguien muy poco instruido o bien te gastaron una broma.

[url]http://www.cyberhades.com/2009/02/15/creando-tu-propio-web-crawler-web-spider/[/url]

saludos.
de todos modos es la misma pregunta hecha de otra forma, el Spider tiene que servir para x enlaces como para xxxx² enlaces. Eso ya dependerá del que quiera invertir en mayor o menor cantidad de servidores.....

la gran pregunta es........ como se hace ese programa Spider???

y a propósito, esa referencia que nos das está muy interesante..
Saludos.

Última edición por jvmjunior; 20/04/2010 a las 06:40 Razón: Agregar referencia

Etiquetas: listado, mundo, todas
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 17:15.