Du glaubst doch nicht wirklich das soetwas voellig ohne Erfahrung funktioniert?

Einen "Spider" schreibt man nicht mal eben so...als ich damals zum testen von WWW::Curl einen Backrub clone gebaut habe, hat mich das viele Wochen gekostet!!!

Das was du da in php hast ist im Grunde nichts...das frontend ist fuer eine echte Suchmaschine absolute nebensache...vermutlich benutzt du sogar noch eine normale Datenbank...

Hier ein paar Sachen die du unbedingt lesen musst...
http://www-db.stanford.edu/~backrub/google.html
http://www.cs.rochester.edu/sosp2003/papers/p125-ghemawat.pdf

Und diese Unterlagen sind schon Jahre alt! Du hast also ohne jegliche Erfahrung nicht den Hauch einer Chance...

Das geheimnis der grossen Suchmaschinen sind nicht die intelligenten Crawler, inverted indexes und ranking algorithmen sondern die gigantischen storage cluster. (siehe GoogleFS oben)