Hola.
Mencionas que tienes dos archivos pruebas.php y prueba.php pero después sólo nos hablas de uno de ellos, no sé si es que se te ha colado una "s" en algún sitio.
Por otro lado, ¿qué se supone que quieres hacer?.
Por lo que pones quieres que cuando alguien entre en madrid.html vaya a pruebas.php?ciudad=madrid, ¿no?.
P.D.: Cuando usas "$1" quieres decir que es el primer grupo de caracteres de la primera parte, pero no hay ninguno (debería ir entre paréntesis).
Código Apache:
Ver originalRewriteRule ^/(madrid).htm /pruebas.php?ciudad=$1 [R=301,NC,QSA,L]