Hola,
Pues esto se hace con CSS, en las faqs de CSS encontrarás el código.
Aquí te dejo un enlace para ver qué colores elegir:
http://www.webmastercuyo.com.ar/servicios/colores.php
Y un enlace para que veas el código:
http://www.webmastercuyo.com.ar/servicios/scrollbar.php
De cualquier modo, puedes previsualizar en DW con F12.
Saludos