Primero en principal los archivos de cabeceras son declaracion, no se consideran librerias... en los porgramas se usan los include <stdio.h> para tener las definiciones de esa libreria. Pero en verdad lo groso de esa libreria esta en otro lado.
Por otro lado si usas
#include "archivo.h"
Ese archivo se busca en el directorio donde se encuentra el archivo. Vos ahi podes poner cualquier path.
Por otro lado, viendo que mencionas el archivo Makefile, creo que tambien necesitas crear dos archivos de implementacion (.c o .cpp) para esas librerias.
Ademas fijate que si instalaste el DevC++ tiene que estar instalado del programa make. Sino se puede bajar de esta pagina:
http://gnuwin32.sourceforge.net/packages/make.htm
Pienso que la idea de la tarea es aprender a usar el compilador y no depender del DevC++.