debes agregar otra condicional... por si es archivo o si es directorio...
Código:
RewriteCond %{REQUEST_FILENAME} -f
RewriteCond %{REQUEST_FILENAME} !-d
si le pones el signo de exclamación
! se toma como negación...
con solo agregar la regla de
!no es directorio antes de tu regla habitual bastaría... suerte!