A mi entender, otra persona te podrá indicar mejor si estoy equivocado o no, los exploradores hacen peticiones así como nosotros lo hacemos a las páginas que se encuentran en el servidor. Ejemplo, yo pedí a google que indexara mi sitio. Lo que entiendo que el explorador va a hacer es buscar la página de inicio, o sea, hace como si tu fueras el que escribiste directamente en el navegador en la barra de direcciones
http://forosdelweb.com. Por lo tanto recibirá información.
Hago un paréntesis para que puedas entender mejor. Si vas a hacer la aplicación usando PHP, puedes estudiar sobre cURL o algún socket. Estos envian peticiones a las páginas web y reciben el resultado de esa página, sea dinamica o no, porque es como si una persona, haya escrito directamente en la barra de direcciones la información, pero en vez de ser un humano es una máquina. Te recomiendo que mires
este aporte para que puedas entenderme mejor. Claro está si es que vas a usar PHP como lenguaje de servidor, si no pues obvia el aporte.
Continuamos.... El explorador verifica los enlaces que tiene esa página de inicio (no importa si es dinámica o no, ya que la página va a mostrar la información por la petición que hizo el explorador a través de HTTP). Los indexa, pero continúa leyendo esos enlaces y enviando peticiones hacia esos enlaces y así sucesivamente, va indexando la información de la página que envió la petición así como los enlaces. De esa forma indexa todo el contenido de tu sitio web. Si hay una página que hayas creado y no está mencionada en las demás páginas, el explorador no va a poder ver, ni indexarla, porque para él no existe esa página web, ya que no la mencionaste por ningún lado.
Espero haber sido claro y que puedas comenzar a hacer la aplicación.