anion0x,
No importa en que archivo hagas la conexion. Lo que importa es que le pases correctamente la variable de conexion a mysql_query.
Es asi como tu dices, el scope (alcance) de la variable.
El problema puede surgir cuando tu haces el mysql_query por ejemplo desde una funcion, en donde desde alli 'no se ve' la variable de conexion.
Si tu utilizas siempre una conexion, aqui esta la solucion:
Código PHP:
mysql_query($sql); //no le pases el segundo parametro, tomara por defecto la unica conexion existente
