Las tres claves de la escalabilidad de Google

En infoQ se han hecho eco de una presentación de Jeff Dean, empleado de Google, sobre escalabilidad de aplicaciones. En ella presentó los tres pilares en los cuales se apoya la compañía para crear aplicaciones altamente escalables: Google File System, un sistema de ficheros distribuido capaz de almacenar hasta cinco petabytes de datos y obtener velocidades de lectura y escritura de hasta 40 gigabytes por segundo (entre todas las máquinas del cluster), MapReduce, que podría definirse como un framework para desarrollar aplicaciones masivamente paralelas que permite abstraer al programador de los detalles de la paralización y la gestión de los errores que surjan en el proceso, y BigTable , una especie de "multi mapa" que hace una función parecida a la de una base de datos, mucho más limitado en cuanto a las consultas que permite realizar pero con capacidad de almacenar petabytes de información y realizar varios millones de lecturas y escrituras de datos por segundo.



Sé que todo esto no está directamente relacionado con Java, pero probablemente resulte de interés para cualquier desarrollador de aplicaciones web en saber cómo un gigante como Google ha resuelto sus problemas de escalabilidad. Por último, mencionar que el proyecto Lucene de Apache ha creado un subproyecto, Hadoop, cuyo propósito es implementar tres estructuras similares a las que Google emplea.



Lo que no ha revelado Jeff Dean es uno de los secretos más guardados de Google: ¿cuantas máquinas emplean para correr sus servicios ? yo apostaría que el número está entre las 200.000 y los 2 millones, aunque no es fácil de estimar.