Eu estava pesquisando umas coisas por aí e acabei tropeçando num link interessante, que dá uma visão geral de como funciona o sistema de busca do Google.

O link é: http://www-db.stanford.edu/~backrub/google.html