Hola,
¿Formateando e instalando Linux? "Muerto el perro se acabo la rabia".
Ahora algo mas en serio, ¿te refieres solo a la parte de PHP? Pues a base de configurar el safe_mode, open_basedir, deshabilitando funciones peligrosas (system, exec, y demas que ejecutan comandos del sistema). Seria un buen comienzo.
Y si ademas tienes pensado ponerlo abierto a internet, deberias preguntar en servidores web sobre como blindar apache, y en seguridad y redes como blindar el servidor (firewalls y demas).
Saludos.