Você não tá pensando em criar um tipo de google da vida né? Pois isso não se faz apenas com um linguagem server side, mas de MODO SIMPLÓRIO, você tem que identificar os links nas páginas assim você vai conseguir navegar pelo site e indexar ele (fopen, fread...etc...) e também ir para outros sites de forma automatizada... mas que isso é bem complexo, é.