<?php indica que comienza código php, no es obligatorio usarlo en un formulario, eso depende de la forma en que quieras mostrar dicho formulario.
Lo que seguramente haces es ejecutar tu código directamente por su ruta absoluta, o bien tu archivo tiene extensión html en vez de php.
Debes ejecutar tu script como
http://localhost/tucarpeta/tuscript.php