Con el HTTP_REFERER (variable de servidor) podrías montar tu condicional y si se cumple que llega desde X sitio (ULR) aplicas tu código de conteo ..
Algo más exacto (pues no todo navegador, conexiones que pasan por proxys .. etc devueleven ese valor) .. podrías usar "SERVER_NAME" para ver si es tu host (tu dominio).
En general todas estas variables de servidor y su significado lo tienes en:
http://www.php.net/manual/en/reserved.variables.php
Las puedes acceder por su array asociado $_SERVER['nombre_variable_servidor']
Un saludo,