Cita:
Iniciado por frony 
tengo una pequeña duda al usar esta forma
User-agent: *
Disallow: /themes/
las carpetas(temas) que esten dentro de themes tampoco seran indexados? es que es lo que deseo. estara bien solo especificar el directorio raiz o debo ir subdirectorio uno por uno
Con esa directiva le estás informando a todos los crawlers que no ingresen a tu directorio themes; por lógica consecuencia, tampoco tienen permiso para explorar llos directorios y archivos contenidos en ella.
Por cierto, el directorio raiz es "/", "/themes" es una directorio que depende del mismo.