Estuve buscando por ahí sobre vrlm o vrml (con los dos encuentran información), y me sorprendió que la información fuera del siglo pasado, lo más actual que encontré fue del 2003, exportar archivos con diversos programas e instalando plugins, usar motores como el gmax... lo más cercano que encontré fue con Director y shockwave donde tenías que programar en lingo (que demonios es eso?!?! aún existe???) y como comentas matius, es programar escribiendo código para obtener unos resultados de poco pelo...
...Peeeero...
Me encontré con el "entidad 3d" en mi necedad para hacer lo que quiero hacer, 'crear un escenario como yo quiera y que el usuario se mueva libremente por el', y la verdad esta genial, es un programa que hace juegos tipo Qake, puedes pasear en primera o tercera persona, el entorno es muy gráfico, y la programación, en realidad es muy elemental y bastante fácil, trae un tutorial en español y la verdad, esta muuuy bueno, tiene sus limitantes, pero a mi me sirve...
Se los dejo por aquí si quieren cureosear.
http://www.entidad-3d.com/
No es para web... pero no le quita lo sencillo de manejar.