Puedes comprimir tu archivo css, también puedes separarlos según tamaño de pantalla y cargarlos mediante javascript.
con jquery es bastante simple
Código:
<link rel="stylesheet" class="cargar-css" href="">
$(document).ready(function(){
var width = $(window).width();
if(width>960){
$("#cargar-css").attr("href", "ruta-de-tu-css/big-css.css")
}
else{
$("#cargar-css").attr("href", "ruta-de-tu-css/small-css.css")
}
});
obviamente debes cargar la libreria jquery
saludos.