así debería ser, los errores debe mostrarlos en la misma pagina donde ocurren...
ahora... es importante que hayas reiniciado el servidor para que acepte la configuración que modificaste, si no entonces también podrías usar esto al inicio de tu código php:
Código PHP:
error_reporting(E_ALL);
ini_set('display_errors', 1);