Array_diff solo trabaja con arreglos de una dimensión, no con arreglos de varias dimensiones por lo que tendrás que pasar tu arreglo a un arreglo de una dimensión de este tipo:
Código:
array(4) {
[0] => "1",
[1] => "2",
[2] => "5",
[3] => "6"
}
Saludos.