Hola:
Esa línea tiene que funcionar siempre y cuando el formulario se llame borrar.
Si quieres que funcione el segundo ejemplo, debes hacer unos cambios...
<form onsubmit="return confirm('¿Seguro desea eliminar esta publicacion?')" ...>
...
<input type="submit" name="eliminar" value="eliminar" />
</form>
Fíjate que de esa manera no se usa el método submit (siempre lo desaconsejo)
Saludos
