Para esto no es necesario una programacion OO, lo podes hacer de forma sencilla con un poco de html + php basico.
En el caso de la tabla deberia quedar asi:
Código PHP:
Ver originalecho "<td align='center' class='$color'><b>"."EVALUACION:".$materia['calificaciones']."<br><br> ".$materia['nombre_materia'] . "<br><br>".$materia['id_cup']."<br><br><a href='libros.php?id=" . $materia['id_cup'] . "'></td>";
Tenes que asegurarte que en libros.php tengas una consulta a la base de datos que al tomar el dato pasado por $_GET del atributo id (el cual es el id_cup), obtengas los libros de esa materia y mostrarlos. Eso es sin popup, para popup solo tenes que agregar un poco de javascript al link, el cual quedaria asi:
Código PHP:
Ver originalecho "<td align='center' class='$color'><b>"."EVALUACION:".$materia['calificaciones']."<br><br> ".$materia['nombre_materia'] . "<br><br>".$materia['id_cup']."<br><br><a href=\"javascript:window.open('libros.php?id=" . $materia['id_cup'] . "', 'width=120,height=180')\" target='_blank'></td>";
Creo que con algo asi bastaría, cualquier cosa avisame.
Saludos!