quizás de alguna forma los experimentos que mencionan C2am o pzin pueden funcionar (se podría incluir a los input dentro de otro elemento y ahí si utilizar los pseudo-elementos :after y :before), pero creo que por lejos lo más sencillo y directo (y como se ha hecho
toa la vida, cuando no había tanto soporte para pseudo-elementos y novelerías varias
) es con una img de fondo