Sin recargar la página no podés hacer mucho sin AJAX, dicho sea de paso no es muy difícil de aprender si ya sabes Javascript, te lo recomiendo.
Si preferí no aprender Ajax, te recomiendo que hagas lo siguiente:
en tu menú, que el link sea algo así
Código PHP:
<a href="?content=usuarios" >Click</a>
y dentro del div contenedor:
Código PHP:
if($_GET['content']=='usuarios'){
include ('usuarios.php');
}
¿Se entiende? Podés modificar los parámetros del GET como los links de tu menú.
Eso, claro, sin AJAX, con AJAX simplemente hacés un httprequest dentro del div contenedor y ya.