Si tu servidor usa Apache, tenes que crear (o editar si ya existiese) en tu carpeta raíz un archivo .htaccess con el sigueinet contenido
y en tu carpeta raiz poner tambien el archivo indicado, es decir error404.html (este nombre es arbitrario, podria ser un php incluso. El contenido de erro404.html ponelo a tu gusto, puede ser algo mucho mas susbtancvial que un cartelito diciendo "pagina no encontrada"
A veces para la creación de estos archivos de error personalizados hay opciones en el panel de control del Webhosting (Cpanel, VistaPanel, Webmin, etc)
SAludos