Pues he debido comprender mal lo que desea conseguir.
Esta es la idea que me hice y lo que se logra en ese ejemplo con la variación indicada:
Y en ese ejemplo no hay listas (ul/li). Sólo tiene que ver el código. Son div´s, pero nada impide hacer los cambios oportunos para que lo sea (una lista) si es lo que precisa.