Sin borrar el código que tienes, prueba esto...
Código PHP:
$files = scandir('directorio');
$count = count($files)-1;
$contador = 0;
foreach($files as $f)
{
if(is_file($f) && $f!='.' && $f!='..' ) {
$rand = mt_rand(0, $count);
echo "<img src='".$files[$rand]."' />";
}
if($contador==4)
break;
$contador++;
}