Una muy buena referencia sobre la API
http://www.mentalis.org/index2.shtml
Y bueno, la referencia principal es msdn.com:
Comunicación serial
Como recomendación, consíguete este par de libros. "Hardcore Visual Basic, de Bruce McKinney" (algo viejo, pero los conceptos son perfectamente válidos aún); y el otro es "Visual Basic Programmer's Guide to the Win32 API" de Daniel Appleman (este último tiene un capítulo especial dedicado a la comunicación serial)
Saludos.
PD: Se me olvidaba. Otro buen libro es "Programming Windows - Win32 API", que aunque esta enfocado al lenguaje c++, las técnicas y funciones que demuestra son adaptables en su mayoría a VB.