Scraper: Google Suche: Too many Requests. Wer hat Erfahrung? (Editoren, Versionsverwaltung und andere Tools)

[thread]21162[/thread]

Scraper: Google Suche: Too many Requests. Wer hat Erfahrung?

Readers: 7

Articles: hide open all | hide show old branches

+5 replies
Ionit

2020-12-24 18:07

User since
2006-05-16
81 articles
BenutzerIn

Hallo Freunde,

mit Perl (Mechanize und Mojo) habe ich mir einen kleinen Scraper geschrieben (den ich lokal unter XAMPP laufen lasse), mit dem ich das Ranking meiner ca. 200 Keywords bei Google einmal täglich erfassen (und in der Datenbank abspeichern) möchte.

Das funktioniert auch wunderbar nur habe ich das Problem, dass der Scraper nur ca. 20 bis 30 Abfragen tätigen kann, bevor Google die weitere Ausgabe mit "Error: Too many Requests" verweigert.

Zwischen den Abfragen lasse ich per "rand" und "sleep" zwischen 20 bis 70 Sekunden Zeit. Ich dachte, dass das ausreicht, was aber scheinbar nicht der Fall ist.

Abhilfe schafft dann nur ein Routerneustart mit neuer IP.

Hat jemand Erfahrung mit diesem Thema und kann mir sagen, wieviel Zeit zwischen den Request liegen muss, damit Google nicht herummotzt und mit "Too many Requests" das scrapen verhindert?

Danke und Gruß
Ionit
- haj
  
  2020-12-24 22:50
  
  User since
  2015-01-07
  602 articles
  BenutzerIn
  
  Wenn Du mit Mechanize die Fragen ausführst, dann steckt Dich Google in die Kategorie "menschlicher Benutzer" - da gibt es keine Dokumentation über die Grenzen. Ich nehme an, dass Google sich das absichtlich offenhält.
  
  Für automatisierte Abfragen bietet Google aber ein API, das die Daten als JSON ausliefert. Das sollte dann eigentlich viel einfacher in eine Datenbank umzufüllen sein als die Inhalte per Scraping rauszukratzen. Für dieses API gilt das Limit von 100 Requests pro Tag für umsonst - für mehr musst Du zahlen (5$ für je 1000 Requests).
  
  Details dazu bei Google selbst: https://developers.google.com/custom-search/v1/ove...
- +2 replies
- bianca
  
  2020-12-25 09:44
  
  User since
  2009-09-13
  7016 articles
  BenutzerIn
  
  Zu diesem Thema Keywords, Google API, SEO, SEM usw. gibt es auch schon ziemlich geniale und teils kostenfreie Lösungen. Mal ist es eine Scriptlösung, mal eine Office Tabelle, mal eine Installationssoftware. Die werden alle regelmäßig in der Website Boosting besprochen und getestet. Ein Abo derselben kann ich sehr empfehlen.
  Last edited: 2020-12-25 09:46:22 +0100 (CET)
  10 print "Hallo"
  20 goto 10
  - haj
    
    2020-12-25 14:28
    
    User since
    2015-01-07
    602 articles
    BenutzerIn
    
    Waaah.., beim Thema SEO sträuben sich mir die Nackenhaare.
    
    Wenn ich eine Suche im Web nutze, lege ich absolut keinen Wert darauf, die Treffer hochgespült zu bekommen, die gerade den gerissensten "Optimierer" beschäftigen. Das geht inzwischen so weit, dass ich immer zuerst den zweiten Treffer anschaue.
    
    Wenn dann die Suchmaschinen, wie Google mit seinem "Expertise - Authority - Trustworthiness" was auflegt, um Seriosität wiederzuerlangen, dann kannst Du sicher sein, dass die ersten paar Dutzend Treffer zum Thema nicht von Google kommen, sondern von SEO-Firmen.
- Ionit
  
  2020-12-27 10:29
  
  User since
  2006-05-16
  81 articles
  BenutzerIn
  
  Hallo Freunde,
  
  nachdem ich die Zeit zwischen den Requests, auf 60 bis 110 Sekunden (rand) erhöht habe, läuft der Spider wunderbar und dauerhaft durch.
  
  Wenn ich morgens den Rechner starte, starte ich auch gleich den Spider und gegen Mittag ist er dann fertig.
  
  Jetzt implementiere ich noch ein Chart-Module, + ein paar kleinere Erweiterungen und dann habe ich hier endlich mein eigenes kleines Monitoring-Tool.
  
  Danke an alle und Gruß
  Ionit

View all threads created 2020-12-24 18:07.