Si no lo identificas a través de un ID es muy complicado hacer algo con éste luego de insertarlo. Se podría lograr obteniendo la posición dentro del árbol del documento, pero la solución más elegante es establecer un atributo ID; luego seleccionarlo a través de getElementById para posteriormente borrarlo.
También puedes hacerlo a través de la variable a la que lo asignas y después de haberlo insertado.
Código PHP:
var textArea = document.createElement("textarea");
document.body.appendChild(textArea);
//....
document.body.removeChild(textArea);
Éxitos