Wenn man nicht will, dass der Googlebot alles sieht, kann man meta-Angaben verwenden. Die genaue Syntax weiss ich gerade nicht auswendig, aber sie steht bei SelfHTML.
Im UserAgent schickt jeder Bot einen String mit, der ihn klar identifiziert. Serioese Bots (wie Suchmaschinen) werden das garantiert nicht faelschen. Ebenso verpflichtet der gute Ton die Bots, eine URL anzugeben, wo man als Admin nachlesen kann, was der Bot will. Beispiel:Googlebot/2.1 (+http://www.googlebot.com/bot.html)


Wer ist hier eigentlich wer? ist n00b = FreeFaq?

cloaking: robots andere inhalte präsentieren als usern und damit besseres ranking erzielen.

sanktion: byby google. du fliegst ganz einfach, ohne vorwarnung, raus aus dem index und kommst so schnell nicht wieder rein.

hmm okok, dennoch fänd ich das für die Statistiken praktisch

verlass dich auf die useragents, ich denke, http://www.pgts.com.au/pgtsj/pgtsj0208d.html sollte dir da genug infos bringen.

cool danke :)

[quote=betterworld,11.11.2003, 21:43]Wenn man nicht will, dass der Googlebot alles sieht, kann man meta-Angaben verwenden. Die genaue Syntax weiss ich gerade nicht auswendig, aber sie steht bei SelfHTML.[/quote]
ob die sich dran halten, ist ne andere frage!!!

Ich habe im Laufe der Zeit ne .htaccess aufgebaut, die mit ca. 40 Einträgen gefüllt ist und unerwünschte Spam-Bots ,Harvestern und Download-Manager fernhält. Wenn Interesse besteht, werde ich mich mal auf die Suche begeben und sie posten oder per PN rumgeben.

bzgl. downloadmanagern: ok, aber die lassen meist auch einfach eine "wie soll ich mich identifizieren"-option zu... und dann kannst du nix dagegen machen.

spam-bots und harvester: entweder es ist ein bot von einem dümmlichen kind, das mit den gewonnenen daten nix wirklich nervendes tun kann oder er wird von einem einigermaßen intelligenten menschen gebaut - und der wird wohl, ganz simpel, seinen useragent ständig rotieren lassen, sodass du nur seine ip bannen kannst. tut er das von einem dialup, hast du so gut wie keine chance. tut er's über proxys, kannst du die zwar gerne bannen... aber, was hast du davon? nehmen wir an, er würde das ganze fröhlich über den t-online proxy betreiben ... und hups, du bannst den fix - und knüppelst damit eine recht ansehliche userzahl ins aus.
es ist ein jammer, aber es gibt einfach nicht viele wirkungsvolle methoden - man könnte natürlich eine trap aufbauen, die in der robots.txt verbieten und wer dennoch reingeht, bekommt einen temp-ban für ein paar stunden. aber auch das ist nur beschränkt wirksam.
tja - und damit kommen wir zum ende: wirksam ist nur rohe gewalt ;)
und bot-traps finde ich für meinen teil ohnehin nicht sonderlich sinnvoll - schickt man den nun also ein paar tausend mal zwischen generierten seiten hin und her - super. man hält ihn damit eventuell ein bisschen auf, treibt dafür aber seinen traffic in die höhe - ergebnis: negativ. aber nur für einen selbst.

Quote

bzgl. downloadmanagern: ok, aber die lassen meist auch einfach eine "wie soll ich mich identifizieren"-option zu... und dann kannst du nix dagegen machen.

Jepp, da gebe ich Dir vollkommen recht. Gegen Downloadmanager ist man so gut wie machtlos. Allerdings kann man zumindest einen (kleinen) Teil ausschließen.

Quote

spam-bots und harvester: entweder es ist ein bot von einem dümmlichen kind, das mit den gewonnenen daten nix wirklich nervendes tun kann oder er wird von einem einigermaßen intelligenten menschen gebaut - und der wird wohl, ganz simpel, seinen useragent ständig rotieren lassen, sodass du nur seine ip bannen kannst.

Ja und nein. Meine Erkenntnisse beruhen auf das Auswerten diverser Weblogs von meinen Kunden. Und darauf habe ich meine Regeln aufgebaut. Es ist mir klar, das man nicht jeden erwischen kann, aber wie oben erwähnt, einen kleinen Teil fängt man damit ab. Zu den Proxies: Proxies sind kein Allheilmittel, um seine IP zu verschleiern. Man kann eine Anfrage an den Proxy starten, der daraufhin die richtige IP-Adresse freigibt. Frag mich jetzt nicht, wie's geht, da ich ziemlich vergesslich bin. Ich hab diese Lösung auch irgendwo auf meiner Platte, da ich dies benötigte, um AOL-Benutzer zu identifizieren.

Quote

und bot-traps finde ich für meinen teil ohnehin nicht sonderlich sinnvoll - schickt man den nun also ein paar tausend mal zwischen generierten seiten hin und her - super.

;)\n\n

<!--EDIT|Heromaster|1068639071-->

klar, denyen würde ich da auch als einzig sinniges anerkennen ... mit bottraps meinte ich eher das, was einige wohl als hobby betreiben, dynamisch generierte seiten als pseudo-guestbook-ausgabe mit jeder menge falscher emailadressen drauf ... da können sich die bots dann austoben und gehen zufrieden nach hause, so zumindest der plan.

deine lösung zum herausfinden von den wahren benutzern hinter einem proxy würde mich interessieren. ich kenne da nichts. wenn der proxy die ip in HTTP_VIA, HTTP_FOR etc pp nicht mitübermittelt, hat man keine chance.