Si
entre la etiquetas de PHP <?php ?> solo puedes poner codigo php como muestras arriba y antes o despues HTML
pero tambien se puede poner codigo HTML entre la etiquetas de php, pero con otra sintaxis
Por ejemplo
Código PHP:
<?php
echo"<table><tr><td>";
echo"hola mundo";
echo"</td></tr></table>";
?>
te aconsejo leer algun manual basico de PHP, buscalo en google y tener conocimientos basico de HTML
Un saludo