Para que sirve robots.txt

[segma]

Hola, cada día que pasa flipo más con el google, estoy creando una página nueva, la doy de alta en un gestor de dominio y unas páginas que te dicen el whois de mi dominio no tardan en encontrarme, no me doy de alta en ningún sitio, pero google gracias a las páginas mencionadas anteriormente me dan de alta al lincar a mi web. Veo que empieza a indexar pongo el robot.txt Disallow: / pero a google le encanta indexar lo que no ha de indexar, ahora ya tengo 780 páginas mal indexadas y con contenido duplicado de .es y .com
¿Porque no le gusta esta directriz a google ? Disallow: /

¿Y para que sirve?

¿Sabéis como puedo eliminar todas las indexaciones? Si lo hago por webmastertools, luego la podré dar de alta fácilmente ?

Gracias un saludo.