pues sí tendrás que poner así:
Código PHP:
<?
mysql_connect("localhost","tuuser","tupass");
mysql_select_db("tubase");
$result=mysql_query("SELECT * FROM REGISTRADOS");
$total=mysql_num_rows($result);
echo "En total hay $total usuarios registrados";
?>
Así es el código entero, espero haberte ayudado....
Saludos