Os segredos do Google
Michael Nielsen publicou, em seu blog, informações sobre a estrutura do Google: suas poderosas tecnologias proprietárias que facilitam o processamento de quantidades enormes de dados. Segundo um desenvolvedor da Microsoft que recentemente mudou para o Google, os funcionários do gigante das buscas trabalham e pensam num nível superior de abstração.
Algumas tecnologias de destaque do Google são:
Google File System: forma simples de acesso a enormes quantidades de dados, distribuídos por um conjunto de máquinas. Atua como um sistema de arquivos “virtual” que funciona como “uma única máquina”. Com isso, eliminam-se preocupações desnecessárias, como avaliar o que fazer quando um micro falha.
MapReduce: Modelo de programação poderosa para processamento e geração de conjuntos de dados. Processa volume elevado de dados por dia, o que permite que programadores executem trabalhos simples em poucos minutos, em vez de dias.
São essas tecnologias, por exemplo, que permitem manter serviços como a pesquisa de conteúdo on-line (Web Crawling) e a hierarquia dessas informações (PageRank). Atualmente, Nielsen escreve um livro sobre o futuro da ciência.
Em tempo: estou lendo no momento o livro O que a Google faria?, de Jeff Jarvis. O jornalista Tiago Doria escreveu uma bela resenha sobre o livro.