Hola haber si así lo solucionas :
Código PHP:
<?php
$r=$row_usuarios_alumnos['Documento'];
if($r!='../docoficiales/'){
echo '<center><a href="'.$r.'"'.'target="_blank">'.'<img src="'.$r.'" '.' width="25" height="25" />'.'</a>'.'</center>';
}
else{
echo "<center><img src='../docoficiales/sin_documento.png' > </center>";
}
?>