Hola Ioryo deberia de ser asi:
Código PHP:
<?php
session_start();
?>
<html>
<head>
<link rel="stylesheet" type="text/css" href="style.css">
</head>
<body>
<?php
if(empty($_SESSION["usuario"]))
{
echo '<p>Debes loguarte antes de continuar.<br>
<a href="login.php"><b>[ Loguarse ]</b></a></p>';
}
?>
</body>
</html>
tanto como session_start y header tienes q estar antes de cualquier salida.
Saludos