Yahoo! comienza a utilizar Hadoop en su buscador

[ZeiterZ]

Hace unas semanas os hablábamos de la primera versión de 'Wikia Search', el buscador de código abierto y colaborativo promovido por los responsables de la Wikipedia que, entre otras tecnologías abiertas, utilizaba Hadoop como plataforma libre para ejecutar la aplicación de software que realizaba las búsquedas.

Ahora, en este post oficial de Yahoo! se anuncia que este buscador acaba de implementar Hadoop, y que un clúster de 10.000 servidores Linux están generando la información que hace que posible que 'Yahoo! Search Webmap' (la aplicación que está detrás de cada consulta) pueda ayudar generar la página de resultados, analizando por ejemplo 1 trillón billón (1012) de enlaces entre los documentos web que tiene indexado.

Hadoop está dentro del proyecto libre Apache, está desarrollado sobre Java, y se pretende que sea utilizado no solamente por buscador, sino por cualquier software que requiera un clúster de cientos o miles de servidores para procesar grandes cantidades de información. Con este implementación, Yahoo! (empresa en la que trabaja el creador de Hadoop) asegura haber contruido el mayor clúster del mundo utilizando esta tecnología que pretende emular de una manera abierta el famoso MapReduce de Google.

También Google está desarrollando sistemas utilizando Hadoop, tal y como anunciaba en octubre en esta nota de prensa, asegurando que, junto a IBM y una Universidad estadounidense, comenzaba a crear un clúster experimental para su estudio.

ACTUALIZADO: Pandinosauria en los comentarios nos recuerda que, en inglés americano, un "trillón" es 1012, lo que en español conocemos como "billón".

Un clúster de 10.000 servidores Linux...

Como diría un amigo: ¿Se podrá jugar ahí al Counter? 

Saludos.