Hola, se me ocurre hacerlo asi, dentro de tu sitio crear una carpeta llamada lenguajes/ , que contiene español.php , ingles.php etc.. aleman.php , con los que desees trabajar.
 
Dentro de cada archivo puedes tener los valores definidos, en variables 
ej.
defecto.php 
 Código PHP:
    <?php
      defined(TEXT_TITULO_PAGINA,'Bienvenido a mi sitio');
      defined(TEXT_LOGIN_TITULO,'Ingrese sus Datos');
      defined(TEXT_LOGIN_USUARIO,'Login');
      defined(TEXT_LOGIN_PASS,'Contraseña');
etc ....
?>    
  ingles.php 
 Código PHP:
    <?php
      defined(TEXT_TITULO_PAGINA,'Welcome to my site');
      defined(TEXT_LOGIN_TITULO,'Fill the fields'); //sorry por la traduccion xD
      defined(TEXT_LOGIN_USUARIO,'Login');
      defined(TEXT_LOGIN_PASS,'Password');
etc ....
?>    
  y tu pagina html se veria asi  
 Código HTML:
 <html>
<title>TEXT_TITULO_PAGINA</title>
<body>
<!-- Suponiendo que aqui tienes tu igreso de login
  TEXT_LOGIN_TITULO
 TEXT_LOGIN_USUARIO <INPUT type="text">
 TEXT_LOGIN_PASS <INPUT type="text">
</body>
</html> 
 Como ves, debes identificar con que idioma (archivo) vas a trabajar y luego cargarlo con include('lenguajes/idioma.php'). entonces de este modo, solo tienes que crear un nuevo archivo para cada idioma y ni tocar el codigo de tu sitio. 
Espero que te de alguna idea
Saludos