Cuando agregas lineas a .gitignore debes tener en cuenta que jamás antes debiste hacer commit de los archivos a ignorar.
Aunque puedes especificar todo en el .gitignore de la raíz lo mejor para este caso es crear un archivo .gitignore dentro de la carpeta de cache, y opcionalmente agregarlo un asterisco para que ignore todo.
Si ya tienes archivos commiteados debes eliminar todo y quitar los índices que hagan referencia, commitear de nuevo y agregar los archivos que borraste.
Al hacer status ya debería de indicarte nada al respecto, espero.
Además, seguro es una tontería, pero cuando agregas lineas a .gitignore debes agregar y hacer commit del mismo .gitignore para que surta efecto.