Todo depende de lo que necesites, pero creo que 120 KB no es nada de qué preocuparse.
Porque los CMS ocupan espacio y son asquerosamente pesados (algunos) a la hora de servir las páginas, pero tienen buenos sistemas de cache que aceleran mucho el funcionamiento y compensan la "pesadez".
Si notás que tu aplicación se enlentece, podés pensar en usar un sistema de cache como APC, o en reducir el tamaño de tu biblioteca.
Si tu aplicación responde bien, no te preocupes
Saludos.