Programa que lea pantalla, y apriete teclas

[TCL_ZIP]

Lo que quiero hacer es un programa que actue en segundo plano, el objetivo es una ayuda para un juego, posto antes de empezar porque nose ni como empezar, no pido que me realiceis el programa, simplemente pido que me deis un par de enlaces/librerias/funciones con lo que se haria, intentare explicarlo lo mejor que pueda.

un programa que, cuando yo apriete X tecla (configurable)
-Haga un escaneo pixel a pixel de toda la pantalla, y me localice el texto de la pantalla (si hace falta le digo la fuente que tiene ese texto)

luego yo mediante manejo de strings ya me encargaria de memorizar en una variable los numeros que me interesan.

después me interesa que de forma atomatica, cuando dichos numeros bajen de X valor, me interesa que se el programa simule una pulsación de tecla del teclado, como por ejemplo: F1, X veces, hasta que el numero haya aumentado hasta X valor.


pues bien las principales funciones que necesito, que nose por donde empezar son:
-Como detectar pulsaciones del teclado, si mi programa esta en el systray y no esta en primer plano?
-Como escanear la pantalla en busca de texto?
-Como "apretar" las teclas del teclado?