Bueno, los 8mb son para todo el script, asi que puede ser que simplemente el espacio que ocupan todas las variables del script superan esos 8mb.
Y que tu jpg ocupe 300kb no quiere decir que la imagen que crea PHP sea de ese tamaño. Imaginate que el resultado de esa funcion es un espacio de memoria en un formato estilo BMP: 3 bytes por pixel. Si el jpeg es de 800x600 pixeles, eso seria 800 x 600 x 3 = 1440000, 1.4 Mb. Con seis imagenes de esas ya tienes mas de los 8mb.
Tambien puede ser un fallo de tu algoritmo, y estes en un bucle sin fin, o que estes creando variables que luego no vacias, u otra de las multiples razones por las que te puedes quedar sin memoria.
Lo mejor es que para imagen que crees luego la destruyas con imagedestroy() (
www.php.net/imagedestroy).
Saludos.