En la versión 3.22 de MySQL, la documentación (
1.2.4 How Big MySQL Tables Can Be) dice que el límite de tamaño por tabla es de 4 Gigas (MyISAM). En la versión 3.23 el límite por tabla puede ser de hasta 8 terabytes. Si usas InnoDB, el tamaño es superior. Ahora imaginate en las versiones 4 de MySQL. Por lo que tu problema es definitivamente otro.
No te aconsejo almacenar imágenes en la BD porque eso afecta los tiempos de respuesta, en ese caso es mejor guardar las imágenes en un directorio y en la BD un link haciendo referencia.
Otra cosa que debes revisar es la forma en que está configurado tu servidor web (optimizarlo).
Cantidad de usuarios que hacen accesos simultaneos a la BD.
Y por último, el equipo en que está montado todo (velocidad, capacidad de HD, memoria RAM).
Te dejo el link de las estadísticas de los foros para que te des una idea que tu problema es otro.
Site Statistics
Podrías tratar de cambiar a otra BD pero puede que se comporte exactamente igual o un poco mejor si no tomas y evalúas los puntos antes mencionados.