Al trabajar con RegEx, el punto (.) significa cualquier caracter. debes restringir el id de categoria a sólo números:
Código:
RewriteEngine on
RewriteRule ^catalog/([0-9]+)/([0-9]+) catalog.php?c=$1&__p=$2
RewriteRule ^catalog/([0-9]+) catalog.php?c=$1
Un saludo,
