habilitar compresión gzip busca en google "enable gzip compression htaccess" o incluso en la misma pagina de gtmetix te dice como hacerlo
http://gtmetrix.com/enable-gzip-compression.html lo del svg no se mucho del tema y no tengo idea.
Ofrecer imágenes a escala
el problema es bastante claro estas usando imágenes grandes para mostrarlas en pequeño, lo que te pide es que uses imágenes del tamaño al cual se usaran por ejemplo
si vas a mostrar una imagen de 50x50 esta quizás pese 4kb
pero tu estas mostrando una de 500x500 que supone un incremento considerable en el peso de tu sitio y por ende la velocidad de carga
la solución, crear imágenes pequeñas y reemplazarlas en el código.
y
sobre la cache se hace desde el htaccess igual que la compresión, checa eso o igual busca en google "enable cache htaccess"
http://www.askapache.com/htaccess/sp...s-caching.html