Dentro de HTDOCS esta la carpeta de Joomla, (administrator, modules, plugins, etc..)
No subas todo htdocs.. Eso no. Solo Joomla de la carpeta.
Ahora lo que no puedes borrar por FTP es culpa de los permisos CHMOD. CLic derecho permisos y les pones 777. ahí podrás borrar. Si no hablas con tu hosting.
Sube solo la carpeta dentro de HTDOCS de tu instalación de Joomla. Puedes saber que carpeta es cuando vas a
http://localhost/nombde_de_carpeta.
Saludos