Se ve interesante su forma de aprender.
Normalmente las personas aprenden las cosas primero que nada imitando lo que otros hacen y luego toman su criterio para mejorarlo si es que se puede o hacerlo de otra manera..
creo que guardar las coordenadas de los clicks que se hacen para un procedimiento ya sea abrir los 3 programas que usas al iniciar tu pc.. por ejemplo
abrir el word para que ya este abierto..
abrir el mysql e iniciarlo y seleccionar la base de datos que usas para luego expandir y ver las tablas
iniciar sesion en facebook..
todo eso seria grabado una vez por uno mismo para ya despues lo ejecute automaticamente, logicamente el sistema checaria que efectivamente este haciendo click donde debe hacer click y esperar el tiempo necesario para que se muestren las ventanas en las que hara las siguientes funciones..
esto podria sonar un poco limitado para un asistente virtual pero lo ideal cuando vas a controlar programas externos es controlarlos como si el asistente fuera un usuario comun..
lo demas podria ser automatico por medio de codigo pero lo que no se pueda seria asi..
esto que digo aun no es inteligencia mas que puros comandos podria decirse pero esto la inteligencia podra usarlo en el futuro y eso van a hacer sus brazos y sus piernas para existir y no solo pensar en acciones, si no hacerlas..
me gustaria que hablaras un poco mas de tu proyecto