Al hacer el mouseover de tu celda deberas cambiar el estilo que afecte al texto para que este cambie sus propiedades, siempre que no quieras cambiar el html que hay dentro de la celda para ponerle etiqeutas:
Código:
celda.onmouseover=function() {
this.style.backgroundColor="red";
this.style.color="blue";
}
Así por ejemplo cambias el color de letra y el fondo, pero puedes hacer muchas mas cosas con css.
Espero que sea eso lo que quieres.