Wie Verzeichnisstruktur aus HTML-Daten erstellen (Netzwerkprogrammierung und Netzwerke mit Perl)

[thread]18138[/thread]

Wie Verzeichnisstruktur aus HTML-Daten erstellen

Tags: perl5 Similar Threads

Readers: 21

Articles: hide open all | hide show old branches

+4 replies

MarkusH

2013-02-12 15:25

User since
2012-04-08
161 articles
BenutzerIn
[default_avatar]

Hallo, ich mal wieder.

Zur Vorgeschichte: Siemens hat für ihre PLM-Produkte das Anmelden am Downloadserver geändert, so dass mit einem FTP-Programm kein Einloggen mehr möglich ist. Das Runterladen über HTTP ist mühsam, zeitintensiv und manchmal klappt das ganze auch nicht.

Ich bin nun gestern auf die glorreiche Idee gekommen, mittels Perlscript die Daten zu holen und mit dem lokalen Verzeichnis zu synchronisieren.

Das Script soll folgende Aufgaben erfüllen:
1. Einloggen auf dem Server -- funktioniert bereits
2. Verzeichnisstruktur erstellen -- Thema von diesem Threads
3. Verzeichnisstruktur mit lokaler Verzeichnisstruktur vergleichen -- offen
4. fehlende Dateien in lokalen Verzeichnissen runterladen -- offen

Das Hauptprogramm:

Code (perl): (dl )

#!/usr/bin/perl -w
use strict;

use Data::Dumper;
use SPLMget;

my $loginData = {
                gtacUsername => '',
                gtacPassword => '',
                gtacURL => 'http://ftp.ugs.com',
                sgtacURL => 'https://ftp.ugs.com',
                cookie => ''
                };

my @location = [];

my $plm = SPLMget->new;

if ($plm->login($loginData)) {
    $location[0] = 'tecnomatix/';
    my $url = join('/', $loginData->{gtacURL}, $location[0]);
    my $data = $plm->readFilesAndDirs($url);
}

Und das Modul:

Code (perl): (dl )

package SPLMget;
use strict;
use warnings;
use Data::Dumper;

use LWP::UserAgent;


my $ua = LWP::UserAgent->new();
$ua->agent('Perl LWP-UserAgent');

sub login {
    my $class = shift;
    my $logindata = shift;
    
    my $response = sendGETrequest($class, $logindata->{gtacURL});    
    return 0 if (!$response->is_error);
    
    my $postData = 'credential_0=' . "$logindata->{gtacUsername}" .'&credential_1=' . "$logindata->{gtacPassword}" . '&destination=%2F&protocol=http';
    $response = sendPOSTrequest($class, $logindata->{sgtacURL}, $postData);
    return 0 if (!$response->is_redirect);     
    $class->{COOKIE} = $response->header('Set-Cookie');

    $response = sendGETrequest($class, $logindata->{gtacURL});    
    return 1;
}
sub readFilesAndDirs {
    my $class = shift;
    my $loc = shift;
    
    my $items = [];
    
    my $response = sendGETrequest($class, $loc);    
    return 0 if (!$response->is_success);
    
    my $content = $response->content;
    
    my ($h,$b) = split('<a name="top"></a>', $content);
    my ($table, $c) = split('<a href="#top">', $b);
    my @rows = $table =~ /\<tr\>(.+?)\<\/tr\>/gs;
    
    foreach my $row (@rows) {
        $row =~ s/\n//g;
        next if ($row !~ /\<td/);
        my ($dummy, $path, $type, $date, $link, $linkDesc) = undef;
        ($dummy, $path, $type, $date) = $row =~ /\<td(?:.*?)\>(.*?)\<\/td\>/g;
        if (defined $path) {
            next if ($path =~ /\.\./);
            ($link, $linkDesc) = $path =~ /^\<a href\=\"(http(?:.+?))\"\>(\w+)\/\<\/a\>$/;
            if (defined $link) {
                if ($type eq 'Directory') {
                    $type = 1;
                }
                else {
                    $type = 0;
                }
                my $item = {
                    DATE => $date,
                    isDIR => $type,
                    LINK => $link,
                    DESCRIPTION => $linkDesc
                };
                push $items, $item;
            }            
        }
    }
    print Dumper $items;
    return $items
}

sub sendGETrequest {
    my $class = shift;
    my $url = shift;
    
    my $getRequest = HTTP::Request->new(GET => $url);
    $getRequest->push_header('Accept-Encoding' => 'gzip, deflate');
    $getRequest->push_header('Connection' => 'keep-alive');
    $getRequest->push_header('Accept' => 'image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*');
    $getRequest->push_header('Cookie' => $class->{COOKIE}) unless ($class->{COOKIE} eq '');

    my $response = $ua->request($getRequest);
    return $response;
}
sub sendPOSTrequest {
    my $class = shift;
    my $url = shift;
    my $postData = shift;

    my $postRequest = HTTP::Request->new(POST => $url);
    $postRequest->content_type('application/x-www-form-urlencoded');
    $postRequest->push_header('Accept-Encoding' => 'gzip, deflate');
    $postRequest->push_header('Connection' => 'keep-alive');
    $postRequest->push_header('Accept' => 'image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x-shockwave-flash, application/xaml+xml, application/vnd.ms-xpsdocument, application/x-ms-xbap, application/x-ms-application, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*');
    $postRequest->content($postData);

    my $response = $ua->request($postRequest);
    return $response;
}

sub new {
    my $class = shift;
    my $self = bless {}, $class;
    
    $self->{COOKIE} = '';
 
    return $self;
}


1;

Damit erhalte ich mit Dumper folgende Struktur (gekürzt):

Code: (dl )

$VAR1 = [
          {
            'LINK' => 'http://ftp.ugs.com/tecnomatix/CAD_Translators/',
            'isDIR' => 1,
            'DATE' => '2009-07-15 12:07:23',
            'DESCRIPTION' => 'CAD_Translators'
          },
          {
            'LINK' => 'http://ftp.ugs.com/tecnomatix/Machining_Line_Planner/',
            'isDIR' => 1,
            'DATE' => '2008-08-18 06:44:54',
            'DESCRIPTION' => 'Machining_Line_Planner'
          },
...
        ];

Die zugehörige HTML-Seite ist als Bild beigefügt.

In meiner Vorstellung soll der komplette Verzeichnisbaum folgendes aussehen haben (gekürzt):

Code: (dl )

$VAR1 = [
          {
            'LINK' => 'http://ftp.ugs.com/tecnomatix/CAD_Translators/',
            'isDIR' => 1,
            'DATE' => '2009-07-15 12:07:23',
            'DESCRIPTION' => 'CAD_Translators',
            'FOLDER' => [
                          {
                            'LINK' => linkZuUnterverzeichnis,
                            'isDIR' => 1,
                            'DATE' => Zeitstempel,
                            'DESCRIPTION' => Beschreibung,
                            'FOLDER' => [Inhalt Unterverzeichnis]
                          },
                          {
                            'LINK' => linkZuDatei1,
                            'isDIR' => 0,
                            'DATE' => Zeitstempel,
                            'DESCRIPTION' => Beschreibung,
                          },...
                        ]
          },
        ];

Die Verzeichnisse haben alle das gleiche Format, so dass ich fie Funktion readFilesAndDirs wieder verwenden könnte. Wie muß ich die Rekursion programmieren?. Und ich hab auch keinen Schimmer, wie ich die Daten dann zusammenbauen muß. Gibt es vielleicht hierzu schon ein fertiges Modul?
Sollte ich für Verzeichnisse eine eigene Klasse programmieren und die dann immer aufrufen, wenn isDir=1 ist?

Bitte um Unterstützung!

Editiert von MarkusH: Formatierungstags aus codeblock 2 entfernt

Attachments

image/png
771 x 610
FTP.png

Last edited: 2013-02-13 07:41:15 +0100 (CET)

$q =~ /(bb|[^b]{2})/

+3 replies
guest wer

2013-02-12 20:12
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10

sub read_all { return read_recursiv($_[0]); } sub read_recursiv { my $url=shift; my $list=$plm->readFilesAndDirs($url); for(@$list) { $_->{FOLDER} = read_recursiv($_->{LINK}) if($_->{isDIR}); } return $list; }
Last edited: 2013-02-12 20:32:03 +0100 (CET)
- +2 replies
- MarkusH
  
  2013-02-13 12:08
  
  User since
  2012-04-08
  161 articles
  BenutzerIn
  
  Vielen Dank für das Codeschnipsel.
  
  Hab es in leicht abgewandelter Form so eingebaut und meine sub readFilesAndDirs auch etwas angepasst, da unter anderem die Regexen nicht alles gewünschte gematcht haben.
  
  Ich bin nun aber nicht mehr so von der geschachtelten Datenstruktur begeistert.
  Viel einfacher wäre es, wenn Dateien ganz einfach in ein Array im Objekt einsortiert werden. Die Pfadangaben sind ja weiterhin im Link vorhanden, lassen sich aber einfacher bearbeiten.
  So könnte es aussehen:
  $plm->{FILES}[0] = Link zu Datei 1
  $plm->{FILES}[1] = Link zu Datei 2
  usw.
  
  Wie muß ich die Rekursion abändern, um das gewünschte zu erreichen?
  Nochmals Danke für eure Hilfe im voraus.
  
  Gibt es empfehlenswerte Anfängerliteratur zum Thema Rekursion? Hab zum ersten mal damit zu tun und tu mich etwas schwer damit.
  $q =~ /(bb|[^b]{2})/
  - MarkusH
    
    2013-04-01 15:28
    
    User since
    2012-04-08
    161 articles
    BenutzerIn
    
    Hallo,
    
    ich muß das Thema nochmals ausgraben.
    
    Das Script funktioniert soweit, dass die HTML-Seiten nach Verzeichnissen und downloadlinks abgesucht werden und die Dateien bei Bedarf runtergeladen werden.
    
    Allerdings werden nicht alle Verzeichnisse durchsucht. Es werden quasi Verzeichnisse ausgelassen und das an immer anderen Stellen.
    
    Möchte deshalb mal in die Runde fragen, wo ich hier anfangen soll zu suchen oder was ich überprüfen sollte. Fehlermeldungen werden keine ausgegeben.
    
    Wäre es möglich, dass die Verzeichnisse zu schnell abgerufen werden und mir der Server deshalb in die Suppe spuckt?
    $q =~ /(bb|[^b]{2})/

View all threads created 2013-02-12 15:25.