Google organiza 1 Terabyte de dados em 68 segundos e ultrapassa recorde do Yahoo

Google organiza 1 Terabyte de dados em 68 segundos e ultrapassa recorde do Yahoo

Grzegorz Czajkowski, do time de infraestrura do Google, postou no blog a informação de que eles conseguiram organizar um 1 Terabyte de dados em 68 segundos utilizando o sistema MapReduce . O recorde anterior era do Yahoo e uma solução open source, o Hadoop, que realizou a mesma tarefa em 209 segundos em julho, ganhando a categoria Terabyte do concurso Sort Benchmark
. Curiosamente, o Hadoop é apenas uma implementação opensource do MapReduce , mas sobre sistemas de arquivos diferentes.

O pessoal do Google foi mais além: organizou um Petabyte (1024 TB, ou 1 048 576 GB) em 6 horas e 2 minutos. Segundo eles, essa pode ser a primeira vez que um teste dessas proporções é feito no mundo.

Para ambas as operações, foram usados 48.000 discos e 4.000 computadores. Com tamanho volume de informação, alguns discos quebraram, o que fizeram os engenheiros escreverem 3 cópias de informação em discos diferentes, e quando uma operação era concluída, as outras duas eram simplesmente descartadas.

Gostou do site? Receba as novidades no seu e-mail! Faça seu cadastro aqui