Hola,
No podría estar seguro pero parece un problema de memoria. Lo mismo me sucede con Eclipse pero con una aplicación modular bastante grande, consume más de 1 Gb de RAM, y lo mismo sucedería con NetBeans .. supongo.
Por supuesto que prueba a usar la opción 'cancelar' para no corromper (posiblemente mas) el directorio .netbeans; reinicia la PC e intenta de nuevo. Sino posiblemente necesites mas memoria RAM; pero yo NO puedo estar seguro de eso, podrían ser otros factores.
Otra opción es que borres el directorio .netbeans en la carpeta de usuario, pero previamente haz una copia de seguridad de lo que vayas a borrar; (por aquello de borrar lo que no era).
Saludos,
ps:
Si deseas probar a cambiar los parámetro de memoria de NetBeans:
http://performance.netbeans.org/howto/jvmswitches/
Aunque tienes que saber para que sirve cada uno.