Gracias por responder!, encontré una solucion especificando a cada uno el WHERE
Código:
(SELECT * FROM categoriavideos WHERE idioma='ES')
UNION ALL
(SELECT * FROM categoriamusica WHERE idioma='ES')
UNION ALL
(SELECT * FROM categorianoticias WHERE idioma='ES')
ORDER BY fecha DESC, hora DESC LIMIT 20"
Al campo idioma lo tengo como FULLText, esta bien con un WHERE idioma='ES' ?