O tienes poca ram en el equipo, o tienes poca ram asignada para netbeans, o en último caso la aplicación hace una mala gestión de la memoria (como por ejemplo la entrada en un bucle que coma más y más memoria).
Prueba esto:
http://www.google.es/search?hl=es&bi...l219l219l2-1l1
Si, no: tendrás que ver si la RAM de tu equipo es suficiente, y también revisar el código de tu aplicación (recomendable hacer debug o tirar trazas de log).
Un saludo