tranquilo todos fuimos novatos un dia, tu pregunta que siempre hay alguien que te echará una mano.
experiencia práctica en eso no tengo ninguna la verdad.
no se con que lenguaje se programará un robot, solo se su funcionamiento teórico
aqui te paso un link para que veas eso de la araña
http://es.wikipedia.org/wiki/Ara%C3%B1a_web
deberas ejecutarlo en tu servidor, o quizá para esto puedas montarte un servidor en casa y ejecutarlo desde ahi, el robot como habras podido leer no hace mas que farolear absolutamente todo lo que encuentra en una url especificada y los enlaces que dependen de esas páginas, tu le indicaras que quieres almacenar y lo darás de alta en la base de datos de tu web
no se con que se podra programar pero busca crawler web en google
este es el primer resultado de crawler web en php
http://phpcrawl.cuab.de/
echale un ojo a ver si te aclaras o que y no te vendria mal aprender a programar y php para este crawler en concreto si quieres realizar esto
no se si hay alguna empresa que se dedique a montarte un crawler especifico a tanto el mes, todo es buscarlo y para eso nadie mejor que el tito google, ya nos cuentas