Hola:
Si no hay nada más en el panel padre,
ponle un GridBagLayout. Por defecto, esto hará que el panel hijo quede centrado dentro del panel padre, sin estirarse.
Si tienes más componentes en el panel padre, haz lo mismo, pero ya tendrás que jugar un poco con las GridBagConstraints de cada uno de los componentes que vayan dentro.
Se bueno.