60.000 Servidores Dan Vida Da Google

[bluefoxtiger]

Interesantísimo el artículo que ha publicado ZDNet referente a una charla que Urs Hölzle -vicepresidente de ingeniería de Google- ofreció hace unos días en una Universidad de Londres (Reino Unido) con el objeto de reclutar nuevos talentos para la compañía. El sitio especializado "google.dirson.com" hace referencia a este artículo, extrayendo aquellos puntos más interesantes

En esta charla, Hölzle hizo públicos algunos de los datos de la tecnología que se utiliza:

· Cada una de las 8 mil millones de páginas web del índice está completamente indexada, y tiene un tamaño medio de 10 kb. Esto hace que el tamaño total efectivo de todos estos documentos HTML sea de unos 75 Terabytes. Sin embargo, el tamaño de la información almacenada es mucho mayor, puesto que existen más tipos de documentos indexados -aparte de HTML-, y además toda la información está redundante.

· Se dispone de más de 30 clusters, y en cada uno de ellos puede haber hasta 2000 servidores. Con esta cifra de unos 60 mil servidores, el clúster de Google sería uno de los más grandes del planeta.

· Cada uno de estos clusters tiene una transferencia media de 2 Gbps, y almacena aproximadamente 1 Petabyte de datos. Esta cifra es tan elevada que hace que probabilidades de fallo en el Disco Duro de 10-15 comiencen a ser un asunto importante. De hecho, en los clusters más grandes se estima que fallen dos servidores al día.

· El último “system failure” en los sistemas de Google se produjo en febrero de 2000, cuando falló el “switch” principal, y se tuvo que trabajar con un único “datacenter2”.

· En Google se trabaja en pequeños equipos de tres a cinco personas.

· Los sistemas de Google son redundantes en infraestructura de Red, servidores y Discos Duros, y el software está escrito teniendo en cuenta que cualquiera de estos elementos -la mayoría sin marca conocida y de no muy elevado precio- puede fallar.