Basicamente, el robots.txt es para decir que no debe indexar un robot que cumpla esa especificacion (los chicos malos no suelen cumplirlo). Tienes mas info en
http://www.robotstxt.org/wc/exclusion-admin.html .
En tu caso, si quieres que los robots tengan acceso a todo, o no creas un robots.txt, o lo creas vacio, o lo creas con
user-agent: *
disallow:
(si no he metido la pata escribiendolo). En un foro vbulletin habra ficheros que no querras que intente indexar, quizas si es como fdw que no puedes acceder a ciertas paginas si no estas registrado (responder, perfiles, ...), pues aplicar esa misma prohibicion en el robots.txt para que no te intenten indexar paginas que no pueden leer o incluso que generan contenido duplicado (el mensaje de "no tiene permisos"). Eso sin contar el ahorro de transferencia.
Tampoco soy un experto en vbulletin, seguro que existen por ahi robots.txt especificos para esa aplicacion.
resumiendo, en el robots.txt especificas las paginas de las que quieres informar que existen pero no quieres que las intenten indexar.
saludos.