La Wikipedia utiliza
Tex como podrás consultar en la propia Wikipedia. Según su propia documentación, utiliza un software llamado
Texvc, que aparentemente viene incluido en wikimedia. Podrías investigar por ahí.
Igual podrías empezar a leer acerca de
Latex, donde deberías encontrar mucha documentación en internet sobre cómo implementarlo en sitios web. Necesitarás el intérprete (osea, Latex) y alguna librería para crear imágenes (imagemagick o gd) eso y algún lenguaje del lado del servidor.
Para PHP podrías buscar en phpclasses.org y, claro, en google, donde la información pulula:
http://hausheer.osola.com/latex2png
Suerte
