Todo arreglado
Poniendo esto en la cabecera arreglé el tema. Seguro que hay una forma más sencilla, pero me llega
<?php if (strpos($_SERVER['REQUEST_URI'], ".php") !== false){ $hrefbase = explode(".php",$_SERVER['REQUEST_URI']); $urlbase = $hrefbase[0] . ".php"; } ?>
<?php if (strpos($_SERVER['REQUEST_URI'], ".php") == false){ $urlbase = $_SERVER['REQUEST_URI']; } ?>
<base href="<?php echo "http://" . $_SERVER['HTTP_HOST'] . $urlbase; ?>" />
Espero que ayude a alguno que tenga el mismo problema