Esto pasa no solo en Python si no en muchos otros lenguajes y mas generalmente cualquier cosa que use IEEE 754.
Hay una lectura extensa que te explica todo esto.
http://docs.oracle.com/cd/E19957-01/..._goldberg.html
También existe la versión especifica para python y tal vez no me crean esto*, pero esta en documentación.
https://docs.python.org/2/tutorial/floatingpoint.html
* sarcasmo