Digamos que el enunciado preciso sería
Cuando se ingresa la url
voip/telefonia-ip.html
se redirige a
/telefonia-ip.php
es decir que tus links deben estar construidos como
Options +FollowSymLinks
RewriteEngine On
RewriteBase /
## debes agregar el simbolo de negación ! a la -f también
## las condiciones se combinan antes de ejecutar la regla
## y deben cunplirse ambas
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
##agregas el flag [L] para que si la regla se cumple no ejecute mas nada
RewriteRule ^voip/telefonia-ip\.html$ telefonia-ip.php [L]
RewriteRule ^index.html$ index.php
Saludos