Uish!
 
Pensaba que eran sólo 3 pasos. Así el problema resulta más difícil, pero lo asumo como reto, lo voy a trabajar. 
De todas formas, vayamos por fases, lo primero que deberiamos hacer es verificar que nos entendemos en el lenguaje matemático. 
para la fórmula:  
Código:
       CAPITAL*(COTIZACION-1)^2
X=-----------------------------------------------
     6*COTIZACION^2-8*COTIZACION+3
  Si COTIZACION=3  y CAPITAL=165. ¿Qué resultado te da? 
A mi me da 20, si a ti no te da 20, deberemos analizar porqué. 
Ah! Y la fórmula es buena para COTIZACION > 1, es decir, para COTIZACION=1,01 va bien.