el .htaccess que contiene la directiva debe de estar en la raiz de tu web, y luego en la ruta ponés la relativa a la raíz del sitio
ejemplo
si tu raiz (el document_root del sitio) es /htdocs
ponés ahi el htaccess y dentro
Código:
errorDocument 404 /404.html
y el 404.html en la raíz también, si el 404 lo ponés en otra carpeta
Código:
errorDocument 404 /otracarpeta/404.html
Hay una particularidad con IE, si tu 404.html tiene menos de 512 bytes, te muestra la página personalizada de error del sistema windows no la del Apache
ej.
404.html
Código:
<html>
<head>
<title>Error 404</title>
</head>
<body>
<h1>Página no encontrada</h1>
</body>
</html>
no te lo toma en IE, podés corregirlo poniendo simplemente
Código:
<html>
<head>
<title>Error 404</title>
</head>
<body>
<h1>Página no encontrada</h1>
<!--
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx -- > completás con caracteres hasta superar los 512 bytes
-->
</body>
</html>
Saludos