Cita:
Iniciado por Daniel Ulczyk 
Hola *zreep*
Antes de responderte:
- Borré un mensaje muy similar a este, ya que se te había colado en un thread de poco más de 4 años atrás.
- Combiné 2 mensajes tuyos consecutivos de un mismo thread o conversación.
¿Cuánto creés que es el tiempo prudencial que debemos tomarnos para contestarte?
Sólo comentarte que esto es un Foro público ¿sí? de ninguna manera es Servicio de Atención al Cliente.
Nada se entiende sobre lo que deseás hacer.
[URL="http://www.robotstxt.org/robotstxt.html"]Robots.txt[/URL] es un protocolo con directivas restrictivas para informar a los bots o crawlers que carpetas de nuestro sitio deseamos que no sean indexadas.
Si tu buscador y base de datos serán privadas y no públicas ¿qué tiene esto que ver?
Creo deberías elaborar tu pregunta en uno de los foros de programación, ya que en el de Posicionamiento SEO no veo como ayudarte al respecto.
Daniel gracias por responderme, pero lo que intento hacer es un buscador al estilo yahoo que indexe las pagina a un servidor, creo por lo que lei que es asi. pero mi idea es hacerlo personalisado. lo trate de decir que lo unico que tengo es robot nada mas, a y un servidor.
Con respecto a anterior, quizas mis ancias de terminarlo hacen que este dependiendo de una respuesta que no encuentro en internet, muchos opinan y dicen pero pocos son los que saben y te informan de verdad. tambien creo que muchos quieren hacerce la america, pero mi idia es ayudar sin redito alguno y que me ayuden por lo mismo... desgraciadamente no hay union...