Lo más sencillo es instalar la extensión Tabbrowser preferences:
http://www.pryan.org/mozilla/site/TheOneKEA/tabprefs/
Probablemente sea suficiente editar el archivo C:\Documents and Settings\usuario\Datos de programa\Mozilla\Firefox\Profiles\Default User\user.js (si no lo tienes, créalo) y poner el texto:
user_pref("browser.block.target_new_window", true);