De Ruby y C++ no tengo la menor idea, pero tambien puedes hacerlo con PHP, ASP,supongo que tambien Java, solo necesitas tener muy claro tu idea y decidirte por alguna tecnologia, porque basicamente lo que haras es:
1- Proporcionar a tu script una URL de inicio
2- Conectar a esa URL para obtener todo el codigo
3- Con expresiones regulares extraer todos los enlaces
4- Guardar en base de datos
5- Seguir los enlaces obtenidos, lo que te lleva nuevamente al punto 1
Dudo mucho que eso te sirva de algo si no tienes todavia idea del lenguaje que vas a usar.
P.D. El spider de mi mensaje anterior se nego a hacer el trabajo.
