No está muy bien que encares el problema desde javascript. La solución que debes encontrar está más relacionada con la selección de los datos, es decir con la consulta a la base de datos, especialmente si se trata de muchos registros. Debes seleccionar solo los registros cuya latitud y longitud estén dentro de un círculo que tenga como centro un punto determinado (una latitud y longitud dadas) y como radio la distancia que quieras abarcar. Eso puedes hacerlo aplicando la fórmula del haverseno. En este pdf se indica cómo hacerlo en mysql:
http://www.arubin.org/files/geo_search.pdf