Wenn man nicht will, dass der Googlebot alles sieht, kann man meta-Angaben verwenden. Die genaue Syntax weiss ich gerade nicht auswendig, aber sie steht bei SelfHTML.
Im UserAgent schickt jeder Bot einen String mit, der ihn klar identifiziert. Serioese Bots (wie Suchmaschinen) werden das garantiert nicht faelschen. Ebenso verpflichtet der gute Ton die Bots, eine URL anzugeben, wo man als Admin nachlesen kann, was der Bot will. Beispiel:Googlebot/2.1 (+http://www.googlebot.com/bot.html)


Wer ist hier eigentlich wer? ist n00b = FreeFaq?