¿Qué conocimientos necesito para crear un webcrawler?

[xarmagedonx]

Hola compañeros de FDW!, estoy interesado en poder desarrollar mi propio webcrawler, pero no se como podría diseñarlo en PHP y MySQL.

Leí que se podía crear con Curl, pero creo que se necesita más conocimiento que eso para desarrollarlo. Ustedes saben ¿Qué conocimientos se necesitan para desarrollar un webcrawler?.

Saludos y espero que alguien pueda responder!