La estructura del archivo robots.txt es para instruir a los bots, crawlers o spiders que archivos/documentos y/o carpetas/directorios no deseamos que sean incluídos en los índices de los motores de búsqueda.
La redacción está en línea con las directrices específicas a cada bot. O de un modo más general se pueden dar instrucciones para que cualquier bot no mire tal o cual archivo, tipo de archivo o carpeta, como bien dije antes.
En cuanto a la sintaxis, la mejor fuente a consultar se encuentra en las
FAQs de robotstxt.org
Y por el contrario a lo que suponés, la existencia de este archivo no favorece en nada al posicionamiento del site. Las técnicas de posicionamiento orgánico trabajan sobre cada documento del sitio y la forma en que los mismos son indexados.
Por supuesto, cuando determinados documentos no deseamos que aparezcan en los índices, es cuando las directivas formuladas en el robots.txt se convierten en una herramienta interesante.
Saludos!