Personalmente lo que yo hago es lo siguiente:
Realizo todo el proyecto en mi local, y respecto a información que varíe de acuerdo a si está online o no, para eso utilizo un archivo de configuración al cual incluyo en el index.php(aclaro que utilizo la programación modular, por eso solo lo incluyo en el index).
Ahora si lo que prefieres es trabajar online lo mejor es poner un index.html donde incluyas un cartel que diga que está en construcción, el server te interpretará primero el index.html e ignorará tu index.php.
Hasta ahí está solucionado el tema de que no quieres que vean como avanza tu proyecto, ahora el tema de los spiders es fácil, si tu index.html no tiene ninguna url que apunte a alguna de tus páginas en construcción no deberían indexarlas, otra forma es que crees un archivo "robots.txt" y pongas en el lo siguiente:
User-agent: *
Disallow: /
Esto indicará a los robots que no tienen que indexar nada.
Espero que te sirva de orientación, tal vez no es la mejor forma pero a mi me funciona bien y hace años que lo hago.
Saludos!
