La "lentitud" se establece en el tiempo de descarga del fichero .css, pues el tiempo que el navegador necesita para cargar en su memoria los distintos estilos es totalmente despreciable (milésimas de segundo). El navegador cargará en su memoria todos los estilos y utilizará los que necesite.
En cuanto a la penalización por descargar un fichero o más puedes ver el comentario de otro forero en éste post:
http://www.forosdelweb.com/2427204-post7.html