Thread Scraper: Google Suche: Too many Requests. Wer hat Erfahrung? (4 answers)
Opened by Ionit at 2020-12-24 18:07

Ionit
 2020-12-27 10:29
#193047 #193047
User since
2006-05-16
81 Artikel
BenutzerIn
[default_avatar]
Hallo Freunde,

nachdem ich die Zeit zwischen den Requests, auf 60 bis 110 Sekunden (rand) erhöht habe, läuft der Spider wunderbar und dauerhaft durch.

Wenn ich morgens den Rechner starte, starte ich auch gleich den Spider und gegen Mittag ist er dann fertig.

Jetzt implementiere ich noch ein Chart-Module, + ein paar kleinere Erweiterungen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool.

Danke an alle und Gruß
Ionit

View full thread Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?