Si, la via es la de verificar el usaragent, pero hacer eso se llama cloaking (servir a los robots de los buscadores un contenido diferente que a los usuarios) y es penalizado por los buscadores al ser detectado.
Ademas es facilmente violable, basta con instalar una de esas toolbars SEO que andan por ahi que permiten cambiar el useragent con un click y ya tenes el acceso a todas esas webs que usan ese metodo, incluidas las de los periodicos
