tienen que comprender como funcionan los spiders, al igual que un humano entra en una pagina,
el sprider NO puede acceder a la base de datos, el sólo lee e interpreta todo link proveniente de la pagina principal, básicamente de forma recursiva hasta agotar todos los links del sitio.
lo único extra es que antes de dicho proceso evalua el robots.txt, y así excluye lo que no le compete, por lo tanto si los archivos con los datos de idioma txt están fuera del alcance del robot dudo mucho que tengas problemas, porque PHP es el que se envarga de leerlos y volcar el HTML con el idioma indicado al navegador, en este caso al spider que lo que hace es ver que contiene el site.
también existe el sitemap.xml, realmente nunca lo he usado, por eso debes de reportar el mensaje para que lo muevan al foro de posicionamiento SEO, allí encontrarás los expertos en esa materia, saludos
