Fines puramente didácticos = legal
Y si, en general muchas webs usan métodos así. Ten en mente también que quizás deberías tener en cuenta (si lo tienen) y respetar (eso es opción tuya) lo que haya puesto el administrador en robots.txt (a veces no hay nada :) )
Ejemplo:
http://www.forosdelweb.com/robots.txt
Esa es la manera del administrador de este foro de decirle a Google que no entre en la lista de URLs esa