Creo que asi como puedo agregar controles los puedo remover, asi que seria algo pararecido a esto:
//txtCajita esta dentro del panel1
TextBox myTextBox = (TextBox)txtCajita;
Creo que seria algo asi:
panel1.Controls.remove(txtCajita);
y myTextBox que es una instancia de txtCajita, se agrega al panel2
panel2.Controls.add(myTextBox);
Saludos