Hola tralara:
Cuando pones "return algo" lo que hay de etras no se ejecuta... sencillamente invierte el orden de ejecución, y verás que te va a funcionar.
<div onMouseOver="this.style.background='#cccccc'; return overlib('Contenido del libro', CAPTION, 'Título');" onMouseOut="return nd();" width="50%">
Saludos