Internet invisible

[strangelet]

Buenos días, foreros.

Tengo una duda sobre la llamada "internet invisible". Tal y como yo lo entiendo, el contenido de una base de datos no es visible por un web spider/crawler porque sería necesario hacer un acceso, y eso es lento. Un ejemplo típico de web dinámica con base de datos es un foro. Si lo que he dicho hasta ahora es cierto, entonces el contenido de un foro no sería indizable por un buscador. Acabo de hacer varias prueba con Foros del Web y sí me encuentra los hilos y los comentarios con google, y no lo entiendo.

¿Qué se me escapa? ¿Es que los foros no usan bases de datos, son páginas estáticas? ¿Es que hay alguna técnica que no conozco?

Muchas gracias de antemano, me harían un gran favor si me resuelven la duda, pues estoy pensando en hacer una web con PHP.

[DarkJ]

Los spider pueden indexar todo lo que tenga un enlace y una url unica. La "web invisible" es aquella que solo se accede mediante formularios (GET y POST). Ejemplo, formularios de busqueda, o los sistemas de bibliotecas online que toda la navegacion se hace por formularios. http://en.wikipedia.org/wiki/Deep_Web

Los foros por muy dinamicos que sean, si son indexables.

[strangelet]

Entiendo, pero se me sigue escapando algo. Si yo hago una búsqueda de una cadena de texto en una base de datos, me ofrecerá los resultados en un tiempo que es superior al que pueda tardar un buscador. No creo que un buscador haga ninguna query a una base de datos. ¿Es que los buscadores usan el caché del servidor o algo así?

Gracias.

[strangelet]

Venga, colegas, una ayudita, alguien que entienda cómo funcionan los spiders. Estoy entre miles de páginas de manuales y una explicación vuestra me puede ahorrar horas de búsqueda.

[dr. attach]

Los spiders solo siguen enlaces, si haces una búsqueda es cosa del usuario, pero no es algo que haga el spider.

Si la pregunta es porque a veces los resultados muestran resultados de búsqueda es porque los webmaster crean enlaces llamados últimas busquedas o lo más buscado y lo que hace es grabar y colocar como link a la busqueda.

Espero haber aclarado tus dudas.