Buscador personal

zreep · #1 (**permalink**) 03/02/2010, 11:09

hola, gracias a todo por lo que aprendi sobre buscadores y lo que quiero saber es como hacer arrancar mi robots.txt, ya lo tengo hecho y no se como hacer que funcione y armar la base de datos. tengo un bueno servidor con 3 discos de 500 GB como para empesar. mi idea es hacer un buscador pero solo para mi y hacerlo a mi gusto... gracias

bue, veo que no hay respuestas.... no hay nadie que me diga, "mira pone el coso ese aca y hace ete coso y listo"...je

Daniel Ulczyk · #2 (**permalink**) 03/02/2010, 15:10

Hola *zreep*

Antes de responderte:

Borré un mensaje muy similar a este, ya que se te había colado en un thread de poco más de 4 años atrás.
Combiné 2 mensajes tuyos consecutivos de un mismo thread o conversación.

¿Cuánto creés que es el tiempo prudencial que debemos tomarnos para contestarte?
Sólo comentarte que esto es un Foro público ¿sí? de ninguna manera es Servicio de Atención al Cliente.

Nada se entiende sobre lo que deseás hacer.
Robots.txt es un protocolo con directivas restrictivas para informar a los bots o crawlers que carpetas de nuestro sitio deseamos que no sean indexadas.

Si tu buscador y base de datos serán privadas y no públicas ¿qué tiene esto que ver?

Creo deberías elaborar tu pregunta en uno de los foros de programación, ya que en el de Posicionamiento SEO no veo como ayudarte al respecto.

zreep · #3 (**permalink**) 03/02/2010, 21:21

Cita:

Iniciado por Daniel Ulczyk

Hola *zreep*

Antes de responderte:

Borré un mensaje muy similar a este, ya que se te había colado en un thread de poco más de 4 años atrás.
Combiné 2 mensajes tuyos consecutivos de un mismo thread o conversación.

¿Cuánto creés que es el tiempo prudencial que debemos tomarnos para contestarte?
Sólo comentarte que esto es un Foro público ¿sí? de ninguna manera es Servicio de Atención al Cliente.

Nada se entiende sobre lo que deseás hacer.
[URL="http://www.robotstxt.org/robotstxt.html"]Robots.txt[/URL] es un protocolo con directivas restrictivas para informar a los bots o crawlers que carpetas de nuestro sitio deseamos que no sean indexadas.

Si tu buscador y base de datos serán privadas y no públicas ¿qué tiene esto que ver?

Creo deberías elaborar tu pregunta en uno de los foros de programación, ya que en el de Posicionamiento SEO no veo como ayudarte al respecto.

Daniel gracias por responderme, pero lo que intento hacer es un buscador al estilo yahoo que indexe las pagina a un servidor, creo por lo que lei que es asi. pero mi idea es hacerlo personalisado. lo trate de decir que lo unico que tengo es robot nada mas, a y un servidor.
Con respecto a anterior, quizas mis ancias de terminarlo hacen que este dependiendo de una respuesta que no encuentro en internet, muchos opinan y dicen pero pocos son los que saben y te informan de verdad. tambien creo que muchos quieren hacerce la america, pero mi idia es ayudar sin redito alguno y que me ayuden por lo mismo... desgraciadamente no hay union...

santa · #4 (**permalink**) 04/02/2010, 11:24

Hola yo estyo haciendo lo que creo que estas preguntando, o sea:
estoy haciendo o intentando hacer un buscador como el de google, yahoo o altavista o como otros miles. Tengo ideada la base de datos y estoy casi terminando el spider.

ahora si estas preguntando como se hace yo solamente te daria un link que no se si te ayude pero te da una idea de como hace google para hacerlo. Yo lo lei dije " a mira vos ", e hice la mia que nada tiene que ver con la idea de google, esa es la idea que pongas tus propios pensamientos para ver si podes hacer algo igual o mejor que google.

El link es este:

http://www.malditainternet.com/como-funciona-google

sin desmerecer a nadie y menos a google no creo que uno tenga que ser tan monstruoso para hacer un buscador. Ademas anda a ver a www.cuil.com que es un buscador de un ex empleado de google donde dice que el algoritmo es 10 veces mejor que el de google pero a simple vista yo no le vi la mejora pero bue, es un ambiente en donde el que menos tiene tendra algo de 10.000.000 de dolares ajajajjajajaja yo solamente tengo un server en un datacenter, pero me la aguanto, saludosssssssssssssssssssss

La santa

zreep · #5 (**permalink**) 04/02/2010, 13:55

Santa, estas en lo cierto, es lo que ando buscando, seguro que debe ser asi, no creo que sea imposible... gracias por tu aporte y lo voy a leer, ahora una pregunta mas.. el spider es lo mismo que el robot.txt?

gracias y saludos

cvander · #6 (**permalink**) 04/02/2010, 17:17

El robots.txt es un archivo de texto donde le decis a los robots de los buscadores que deben indexar de tu sitio.

Lo que tenes que hacer es idear una base de datos para ir almacenando la internet entera. Para esto necesitas un robot que es un servidor que ira visitando todos los sitios web que encuentre para almacenarnos.

La idea de armar el proyecto es buena, pero no entiendo porque hacer algo personalizado solo para vos. Compartilo o participa en otros proyectos donde puedas aprender porque estas en pañales y no tienes mucha idea de como empezar. Así que vinculate con más personas que estén en el camino y empieza a definir tecnologías con las que vas a programar, procedimientos y forma de almacenar tanta información para luego poder hacer las consultas de búsqueda.

zreep · #7 (**permalink**) 04/02/2010, 19:40

por ahora no estoy tratando de entenderlo, en la pagina que me envío santa entendí bastante... pero quiero hacerlo bien así lo comparto con todos... y no solo eso, sino en codigo abienrto para que puedas hacer los que quieran...