Para eliminar todas las páginas que se encuentran dentro de un directorio:
User-agent: Googlebot
Disallow: /Directorio
Para eliminar todos los archivos de un tipo de archivo específico, por ejemplo .gif, tendrá que utilizar la siguiente entrada de robots.txt:
User-agent: Googlebot
Disallow: /*.gif$
Para eliminar páginas generadas de manera dinámica, deberá utilizar esta entrada de robots.txt:
User-agent: Googlebot
Disallow: /*?
http://www.google.es/support/webmast...y?answer=35303