Eure Einschätzung: lokale HTML parsen und Werte in Remote-MySQL einfügen ? (Projekte)

[thread]17276[/thread]

Eure Einschätzung: lokale HTML parsen und Werte in Remote-MySQL einfügen ?

Leser: 21

Articles: hide open all | hide show old branches

+6 replies
mzurhorst

2012-03-28 12:55

User since
2012-03-28
9 Artikel
BenutzerIn

Hallo zusammen!

Ich bin komplett neu hier und hatte mit Perl auch erst 1x vor 2 Monaten etwas zu tun. Damals war die Aufgabe so trivial, dass ich mir über die Fragmente diverser HowTo's meinen (vermutlich sehr ineffizienten) Code zusammen sammeln konnte. Immerhin aber erfolgreich binnnen 3-4 Stunden. :-)

Jetzt habe ich mir aber selbst eine Aufgabe gestellt, die vermutlich etwas umfangreicher ist. Und hier hätte ich gerne eure Einschätzung, ob ich mich da wirklich ran wagen sollte, oder ob das Unterfangen evtl. doch eine Nummer zu groß ist für einen Laien mit wenig Zeit.

Zusammengefasst geht es mir darum, dass ich das Ergebnis des Skripts "geolog.pl" (http://geolog.sourceforge.net/geolog.html) nehme und die Werte in eine MySQL-Datenbank auf meinem Webserver übertrage.

Leider liefert die Suche nach geolog.pl hier im Forum keinen Treffer.
Dieses Skript fragt die Datenbank von www.geocaching.com ab nach neu gefundenen Geocaches zu meinem Account.
Lokal erzeugt es dann ein HTML-Gerüst aus Übersichtsliste und Detailseiten pro Cache. (ein Beispiel ist auf der Homepage des Autors zu sehen: http://felias-fogg.de/site/geocaching/page7/page7....)

Und ich habe mir nun in den Kopf gesetzt, diese HTML-Seiten nicht mittels iFrame auf meiner Homepage darzustellen, sondern direkt als Content in Joomla anzeigen zu lassen. Dazu muss ich aber irgendwie den Inhalt in die MySQL-Datenbank rein kriegen, und davor natürlich erst mal aus den HTML-Dateien heraus.
(Der Teil in Joomla ist relativ einfach: mittels "ContentBuilder" habe ich eine Tabelle angelegt in der Datenbank, und ein HTML/PHP-Template formatiert mir die Ausgabe so, dass sie sich nett integriert in meine HP)

Da wir nur alle paar Tage/Wochen raus gehen zum cachen brauche ich auch kein brutal hochgezüchtetes Skript. Mir geht's mehr um diesen olymischen Gedanken: einfach mal schauen, ob sowas möglich ist (ganz bestimmt) und wie weit ich komme.

Was meint ihr?
-- Wir sowas aufwändig?

Schon mal dankeschön vorweg und viele Grüße,
Marcus
Last edited: 2012-03-28 12:59:47 +0200 (CEST)
- murphy
  
  2012-03-28 15:49
  
  User since
  2004-07-19
  1776 Artikel
  HausmeisterIn
  
  HTML Dateien auseinanderzunehmen geht meines Erachtens am einfachsten mit XML::LibXML und XPath-Ausdrücken. Daten in eine SQL-Datenbank einzufügen ist mit DBI problemlos möglich.
  
  Wenn die Erfahrung mit diesen Technologien fehlt, wird das Projekt einigen Lernaufwand mit sich bringen, aber wirklich schwierig klingt die Aufgabe nicht.
  
  Man sollte sich übrigens auch noch überlegen, ob es überhaupt nötig ist, den Umweg über ein externes Skript zu gehen anstatt die gewünschten Informationen direkt von geocaching.com zu laden. Und man sollte auch mal nachsehen, ob geocaching.com die Informationen nicht auch in einer leichter weiterverarbeitbaren Form als HTML ausgeben kann. Ein kurzer Blick auf die Webseite legt jedenfalls nahe, dass es da noch eine bessere API gibt: http://www.geocaching.com/live/default.aspx Im Zweifelsfall könnte ein Blick in den Quellcode des erwähnten Geolog-Skriptes nützlich sein, um zu sehen, wie dieses Programm an seine Rohdaten kommt.
  When C++ is your hammer, every problem looks like your thumb.
- +3 replies
- topeg
  
  2012-03-28 16:10
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Beim überfliegen des Scripts fallen mir zwei Ansatzpunkte auf. Einmal die Funktion "generate_html" Da könnte man schauen ob man da nicht die wichtigen Daten extrahiert bekommt. Und den Pfad in "$cachepath" dort sind die Datensätze abgelegt aus denen die HTML-Anzeige generiert wird. Da scheinen auch einige ".txt" Dateien mit den Datensätzen zu sein.
  
  Aber das Script ist sehr unübersichtlich. Lauter globale Variablen (über 100!), die an vielen Stellen modifiziert werden. Kaum mal Funktionen mit Übergabeparametern. Ich hätte das Script schon vor langem in mehrere Module zerlegt. Oder wenigstens dokumentiert was die einzelnen Funktionen machen und welche Variablen herangezogen werden.
  - +2 replies
  - mzurhorst
    
    2012-04-01 23:10
    User since
    2012-03-28
    9 Artikel
    BenutzerIn
    
    Hallo zusammen!
    (ist bei euch alles rosa hier??? -- Aprilscherz?)
    
    @topeg:
    Vielen Dank erst mal, du hattest komplett Recht. Ich habe mir nie das Arbeitsverzeichnis des geolog.pl Skripts angeschaut.
    Da gibt es tatsächlich bereits jeweils 3 .txt Dateien, welche mein Leben deutlich einfacher machen werden. Beispielsweise schaut es dann so hier aus:
    
    Verzeichnis: "6_Monate_GC2C004"
    
    Dateien:
    1) cache.txt
    
    Quote
    Name: 6 Monate
    GCid: GC2C004
    Owner: Dragonheart1987,Scarmish
    Ownerid: 3317145
    Coordinates: N 51° 25.870 E 006° 52.599
    Type: Traditional Cache
    Container: Micro
    Difficulty: 1.5
    Terrain: 1
    Hidden: 19.07.2010
    Country: Germany
    State: Nordrhein-Westfalen
    Attributes: quads-yes, motorcycles-yes, bicycles-yes, dogs-yes, firstaid-yes
    Status: archived
    
    2) log.txt
    
    Quote
    Gerade bei nem schönen Abendspaziergang mit meiner Frau gefunden. Dennoch Danke, das Denkmal kannten wir noch nicht!<br/>Gruß, Juli & Marcus
    
    3) note.txt
    
    Quote
    Found: 02.06.2011
    AuxSort:
    AltCategory1:
    AltCategory2:
    Access:
    Search:
    OverallTime:
    Judgement:
    FTF:
    Optional1:
    Optional2:
    
    Ich habe nun Padre installiert und erste Versuche gemacht mit Perl.
    Als erstes wollte ich mich mit der Datenbank verbinden. Lokal funktioniert das super, allerdings scheitere ich (vermutlich Sicherheitseinstellungen) auf dem Server.
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
    
    #!/usr/bin/perl use 5.006; use strict; use warnings; use DBI; # Remote -Ziel-Datenbank (Zugriff funktioniert z.Zt. nicht) # my $dsn = 'dbi:mysql:dbname=username_1;host=die-zurhorsts.de'; # my $user = 'username'; # my $password = '*******'; # Lokale Ziel-Datenbank (Test) my $dsn = 'dbi:mysql:dbname=username_1;host=localhost'; my $user = 'username'; my $password = '********'; my $dbh = DBI->connect($dsn, $user, $password, { RaiseError => 1, AutoCommit => 1 }) or die $DBI::errstr; print "2+2=",$dbh->selectrow_array("SELECT 2+2"),"\n"; $dbh->disconnect;
    
    Dabei bekomme ich bei dem Zugriff auf den Server meines Providers eine Fehlermeldung: "Host is not allowed to connect to server".
    
    Ich bekam nun einen Hinweis, dass so ein Zugriff ein Sicherheitsrisiko darstelle, und üblicherweise providerseitig nicht erlaubt werde.
    Stattdessen solle ich das Skript einfach auf dem Server ausführen.
    
    Da mein Plan mit dem lokalen Skript wohl nicht funktionieren wird, ist mir jetzt nicht ganz klar wie ich das aufbauen sollte.
    
    Habt ihr eine Idee? - Ich bin für jeden Tipp dankbar!
    
    Viele Grüße,
    Marcus
    - topeg
      
      2012-04-02 15:51
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Ich gehe mal davon aus dass es sich bei dem Server um einen Hoster handelt der CGI-Scripte zulässt.
      Gehe in den Fall wie folgt vor.
      Schreibe ein CGI-Script das alle nötigen Daten und Parameter bekommt um sich an der DB anzumelden. Idealer weise sollte das Script über ein Passwort gesichert sein, damit kein Unbefugter in die DB schreiben kann. Dann kannst du die Lokal geparsten Einträge mit LWP::Simple an das CGI-Script senden, welches es in die DB einträgt. Da du dich nicht an bestimme Protokolle halten musst kannst die Datensätze auch gepackt übertragen. z.B mit Storable. Das geht schneller und macht die Verarbeitung einfacher. Achte aber dennoch darauf die Daten zu prüfen, um fehlerhafte Einträge zu verhindern.
- mzurhorst
  
  2012-04-06 17:04
  
  User since
  2012-03-28
  9 Artikel
  BenutzerIn
  
  Hallo zusammen!
  
  Mühsam ernährt ich das Eichhörnchen. Aber irgendwie kommt es wohl über den Winter *gg*
  
  Ich mache Fortschritte. Allerdings frage ich mich gerade, ob ich mich total ungeschickt verhalte, und das nicht effizienter gemacht werden könnte.
  
  Gebt mir doch mal bitte Feedback, falls ich zu kompliziert vorgehe.
  Ich tue mir insbesondere schwer, in diesem CPAN Verzeichnis die richtigen Module zu finden. Entweder suche ich falsch und finde nichts, oder ich finde 20 Module die alle das gleiche machen (aus Sicht eines Laien zumindest)
  
  Mein Vorgehen hat sich doch etwas geändert:
  1) ich kann mich nun doch mit der Remote-Datenbank verbinden. Mein Provider hat den Zugang eingerichtet.
  2) für's erste werde ich nicht (mühsam) erforschen, welche Unterverzeichnisse sich veränderten oder nicht. (mit Inotify oder so).
  3) stattdessen werde ich jedesmal komplett durch alle Verzeichnisse laufen.
  4) dann lese ich die Sachen ein und schreibe sie in ein SQLite Datenbank hier lokal.
  5) Wenn ich diese Zeile bereits habe, dann prüfe ich lediglich ob sich der Status des Caches geändert hat
  6) wenn ja, dann ändere ich den Status und merke mir das in einer Zusatzspalte mit dem Kommentar "UPDATE". Sonst lass' ich diese Zeile fallen.
  7) Wenn ich die Zeile noch nicht habe, dann schreibe ich die ganze Zeile und merke mir dies als "NEW"
  8) Anschließend kopiere ich die Zeilen mit NEW und UPDATE von der SQLite-Datei auf den Remote-Server
  
  Noch nicht gelöst habe ich:
  a) Ich muss die Zeilen noch sortieren. Da ist eine Datumsstring in der notes.txt Datei drin. Das Sortieren müsste dann aber gesehen, bevor ich in die lokale Datenbank schreibe, nur habe ich da keine Idee.
  b) ich bekomme das rekursive Öffnen der Verzeichnisse noch nicht hin.
  
  Bisher ist alles nur rudimentär, aber es funktioniert jetzt:
  1) ich kann den Pfad zum Arbeitsverzeichnis auslesen aus der Config-Datei von Geolog.pl
  2) ich kann dann zu dem Verzeichnis wechseln
  3) ich kann mich mit den Datenbanken verbinden
  
  Und hier mal mein Skript.
  more (26.0kb)
  
  Ich würde gerne ein paar Abkürzungen nehmen.
  Allerdings weiß ich nicht wie:
  
  1) ich kenne den genauen Namen meiner "Schlüssel" in den Dateien.
  Kann ich das einlesen der Dateien auf 1-2 Zeilen reduzieren mit eines geeigneten Moduls ?
  
  2) außerdem weiß ich, dass sämtliche Verzeichnisse dem Muster xxxxxxxxx_GCyyyyy entsprechen. Kann ich davon profitieren, wenn ich auf ein paarmal Fehlerabfangen verzichte ?
  
  Viele Grüße und schöne Feiertage!
  Marcus
  
  modedit Editiert von pq: more-tags um code hinzugefügt
  Last edited: 2012-04-06 17:28:52 +0200 (CEST)

View all threads created 2012-03-28 12:55.