Hallo Freunde,

mit Perl (Mechanize und Mojo) habe ich mir einen kleinen Scraper geschrieben (den ich lokal unter XAMPP laufen lasse), mit dem ich das Ranking meiner ca. 200 Keywords bei Google einmal täglich erfassen (und in der Datenbank abspeichern) möchte.

Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.

Abhilfe schafft dann nur ein Routerneustart mit neuer IP.

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?


Danke und Gruß
Ionit