Personalmente, no tengo ni idea si sireve de algo el allow o no, pero penalizable, no creo... alguien se ha fijado en
http://www.google.es/robots.txt ??
Parece ser que usa el allow para hacer excepciones a un disallow anterior más general. Interpreto, entonces, que almenos google lo interpreta de esa manera, esté o no especificado en los protocolos...
Saludos
Edito: google lo explica en su soporte, el uso de Allow...
http://support.google.com/webmasters...&answer=156449