Hi,

ich bastle grad an einem Script welches von einem entfernten Server Logfiles holen soll um dann den Inhalt in die lokale DB zu speichern. Die DB Sache klappt soweit erstmal ...

Die Frage ist wie man am "günstigsten" die Files kopiert. Es soll täglich ein kopier-Vorgang über cron gestartet werden, aber es muss eine Prüfung statt finden ob das File schonmal kopiert wurde oder nicht. Im entfernten Ordner werden eine Großzahl dieser Logs liegen die tagtäglich im 4Min Takt erzeugt werden und wichtig ist, dass ich bei meinem täglichen Kopiervorgang keine doppelt hole.

Da die Logs alle eine eindeute ID im Namen haben wäre es ja kein Problem diese in einer Table der DB zu speichern und vorm "anfassen" der Datei immer zu prüfen ob die ID bereits vorhanden bzw bekannt ist. Ich müsste dann aber dennoch jeden Tag erst ALLE Files auf meinen lokalen Server kopieren und prüfen.

Kann ich das irgendwie schachteln, d.h. beim scp Vorgang direkt in der lokalen DB die ID prüfen?

Grüße

Hi,

bewegst du dich auf einer Windows oder einer Unix Welt?

Gruß Gaston

Solaris 10 (Debian wäre mir lieber, aber danach gings nicht :) )

Hi,

man kann mit scp auch remote Kommandos ausführen lassen. Ich würde darüber zuerst ein dir command absetzen, der das Ergebnis in eine Datei schreibt. Diese Ergebnisdatei kannst du dir auf deinen lokalen Rechner holen, gegenüber deinen DB Einträgen auswerten und die fehlenden Dateien per Scp holen

Gruß Gaston

Hm, warum nicht mit rsync über ssh einfach rüberkopieren?

Vermutlich würde das den Rahmen meines verfügbaren Plattenplatzes sprengen auf dem die Auswertung statt findet. Es werden am Tag 360 Files von jetzt noch unvorhersehbarer Größe erstellt (mehrere MB). Des weiteren soll auf dem Server von welchem die Daten geholt werden eigentlich nichts extra konfiguriert/installiert werden. Wobei rsync eigentlich eine komfortable Sache wäre.
Aber für den Fall, dass kein Weg dran vorbei geht sich jedes File zu holen, ... ?
Sollte man evtl. auf dem Remote-Server eine Datei mit eienr Liste der IDs führen und die pro scp-Vorgang abgleichen?

rsync ist genau dafür gedacht, von daher würd ich das auch empfehlen.

Habe es jetzt wie folgt gelöst:



und hole mir damit immer alle Dateien vom Vortag in ein TMP Verzeichnis, lese sie in eine DB und lösche sie wieder. Ich nutze dabei den Datums-String der vollständig im Dateinamen enthalten ist. In jedem Datensatz (Zeile der CSV-Datei) ist noch ein
eindeutiger HEX Wert enthalten, den kann ich dann zusätzlich noch in einer als UNIQUE deklarierten MySQL Spalte halten, so dass auch da nichts doppelt vorkommen sollte. Würde mich, was den Datumsstring angeht, zwar lieber am 'stat' der Datei statt dem Dateinamen orientieren, aber da weis ich noch nicht wie. Wenn die mal den Dateinamen ändern müsste ich so das Skript nicht anpassen.

VG

Hm, das mit dem Zusammenbauen des Datumsstrings könntest du mittels POSIX und dem darin enthaltenen strftime() noch etwas einfacher machen denke ich.