la forma correcta sería utilizando DOM, tanto para crearlos como para eliminarlos (así te aseguras de que funcione en todos los navegadores).
Cita: <html>
<head>
<title></title>
<script language="javascript">
var i=1;
function agregar()
{
padre=document.getElementById('intxt');
hijo=document.createElement('input');
hijo.type="text";
hijo.name="texto"+i;
hijo.id="id"+i;
br=document.createElement('br');
br.id="br"+i;
padre.appendChild(hijo);
padre.appendChild(br);
i++;
}
function borrar(){
i--;
padre=document.getElementById('intxt');
padre.removeChild(document.getElementById("id"+i)) ;
padre.removeChild(document.getElementById("br"+i)) ;
}
</script>
</head>
<body>
<form name="form" action="post" method="">
<input type="text" name="texto">
<a href="#" onClick="agregar()">agregar</a>
<a href="#" onClick="borrar()">borrar</a>
<div id="intxt"></div>
</form>
</body>
</html>