usar un archivo robot es muy facil para decirle al buscador que debe indexar y que no
un ejemplo de mi archivo robot es el siguiente
User-agent: * (para todos los robot)
Disallow: /archivos/ (dice que no queremos que indexe el directorio archivos
Disallow: external.htm (que no indexe el este archivo)
Disallow: externalnew.htm
entonces lo que debes hacer es armar un archivo robot
para ello
crea un archivo llamado robot.txt
y pones lo siguiente modificandolo a tu necesidad con los directorio que no quieras que indexes, no te vallas a confundir y le dices que no indexe a un archivo que en realidad querias que indexara o sea que este en el buscador
Código:
User-agent: *
Disallow: /flash/
Disallow: /mensajes/
Disallow: /tagboard/
Disallow: /votar/
Disallow: pagina2.htm
Disallow: paginaframe.htm
cualquier cosa me dices