Realmente no se como se hace porque nunca lo probe, pero lo que si te puedo decir es que lo que estas buscando se llama OpenId es un concepto nuevo que esta muy bueno.
Fijate de probar con OpenId en Google y vas a encontrar un monton de informacion sobre como ponerlo en marcha en tu sitio.
Aca hay un sitio que hace lo que vos estas buscando
http://www.stackoverflow.com
De hecho el OpenID te da la posibilidad de elegir entre varios "autenticadores" como ser Google, Yahoo, MSN, etc ...
Saludos.