Pues no se si te entendi muy bien, pero creo que te falto algo:
Código PHP:
$tfcomp = mysql_query ("select tomo,folio from caballos where tomo = '$_POST[tomo]' and folio='$_POST[folio]'")or die(mysql_error());
$tfcomp2 = mysql_num_rows($tfcomp);
if ($tfcomp2 != 0)
{
echo "el folio para ese tomo ya exsite. Revisalo!";
return;
}
te faltó, creo, lo de and folio=