Hola,
Si no tienes ese fichero, es como si dijeses "Buffet libre para los bots; lean todos los ficheros a los que tengan links". Solo es necesario para evitar que algunos (o todos) los bots indexe alguna parte de tu web. Por ejemplo, si quieres que ningun robot indexe las fotos de tu novia que esta en el directorio fotos-novia, podrias hacer un:
user-agent: *
disallow: /fotos-novia
En teoria estaria bien, pero existen robots malignos que usan la informacion del robots.txt para encontrar lo que quieres ocultar.
En
http://www.robotstxt.org/wc/robots.html tienes mas info.
Saludos.