Optimizar VPS con 512MB vía etc/my.cnf

[Bam_Margera]

He cambiado recientemente de servidor compartido a VPS con 512MB (612MB burstable) y Xeon E5520 16x Core,

El caso es que está funcnionando peor que en el compartadido, según soporte me comentan que el servidor compartido es super potente pero que vale unos 500USD y ellos meten 200 clientes ahí, mi problema en ese servidor eran las 20 conexiones concurrentes,

La verdad es que se que mi web tarda en cargar y se cuelga a veces pues debo optimizar las consultas a la base de datos, que hay demasiadas y están hechas a lo rápido…

Por otro lado he leído que con una correcta configuración del my.cnf se puede mejorar bastante el rendimiento, por eso vengo a pedir ayuda a mejorar la mia, que es:

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
old_passwords=1

# To allow mysqld to connect to a MySQL Cluster management daemon, uncomment
# these lines and adjust the connectstring as needed.
#ndbcluster
#ndb-connectstring="nodeid=4;host=localhost:1186"
skip-innodb
log-error=/dev/null
bind-address = 127.0.0.1
key_buffer = 4M
max_allowed_packet = 128M
table_cache = 300
sort_buffer_size = 64K
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 64K

skip-external-locking
skip-locking
skip-innodb
skip-name-resolve
query_cache_limit = 128K
query_cache_size = 3M

Algún valor que se pueda mejorar?