Hola!
 
Deberías empezar a tomar buenas prácticas de programación en AngularJS y definir tu módulo inicial y tu controlador así:   
Código Javascript
:
Ver originalangular.module('app', [])
  .controller('groupColors', function($scope){
      $scope.colors = [
          {name : "rojos", color : [
              ["IndianRed", "CD5C5C"],
              ["LightCoral", "F08080"],
              ["Salmon", "FA8072"]
          ]},
          {name : "rosados", color : [
            ["Pink", "FFC0CB"],
            ["LightPink", "FFB6C1"],
            ["HotPink", "FF69B4"]
          ]},
          {name : "narajnas", color : [
            ["Coral", "FF7F50"],
            ["Tomato", "FF6347"],
            ["OrangeRed", "FF4500"]
          ]}
      ];
  });
  
Ahora la directiva ngApp en el HTML debería quedar así:   
Luego, una cosa que te ayudará es saber que puedes saber el $index del ng-repeat de fuera con ayuda de $parent.$index.  
Con lo cual ya solo tienes que encontrar la fórmula que permita que dados los $index de fuera y de dentro:   
Código Javascript
:
Ver original0, 0 -> te dé 1
0, 1 -> te de 2
0, 2 -> te dé 3
1, 0 -> te dé 4
1, 1 -> te dé 5
etc...
  
Te dejo aquí el 
código modificado 
Un saludo!