Casi como lo estabas haciendo!
Código:
<%
On Error Resume Next
Set FSO = Server.CreateObject("Scripting.FileSystemObject")
FSO.deletefile(Server.MapPath("pepe")) & ".*"
%>
Sólo tenés que quitar el wildcard (*) fuera del server.mappath (el punto no es necesario quitarlo, pero es más práctico hacerlo)
Ah, una última cuestión... el On Error Resume Next es necesario porque si no hay archivos que borrar da error.
Saludos