Webseite bestimmte Werte auslesen (Allgemeines zu Perl) - Perl-Community.de

Start · Board · Anwendungen/Programme/Skripte in Perl · Allgemeines zu Perl

2024-05-08 17:24:12
Europe/Berlin
Einloggen (Registrieren)
- Einstellungen
- Statistics
Jemand zu Hause?
0 Benutzer online
1 Gast

[thread]20750[/thread]

submit to reddit

Webseite bestimmte Werte auslesen

Tags: perl5 Ähnliche Threads

Leser: 17

Articles: hide open all | hide show old branches

+13 replies
Willi9974

2020-03-07 09:08

User since
2016-06-30
7 Artikel
BenutzerIn

Hallo zusammen,

bitte nicht steinigen, ich bin absolut Anfänger, also bitte nicht gleich verbal steinigen.

Ich möchte von einer Bitcoin Webseite bestimmte Bitcoinadressen abfragen

Auslesen der Bitcoinadressen aus einer Textdatei, hab ich hinbekommen.
Eine Schleife, die den Inhalt Zeile für Zeile verarbeitet hab ich auch.

Mein Problem ist wenn ich den Link in Perl aufrufe und den Quelltext der Seite zurück bekomme, wie ich folgende Werte aus dem Quelltext rausfischen kann

Werte die ich auslesen möchte sind:

- Anzahl Transaktionen
- Insgesamt erhalten
- Endgültiger Saldo

Hier ein Beispiel
https://www.blockchain.com/btc/address/12dRugNcdxK...

Das aus dem Quelltext auslesen stellt mich vor ein Mega Problem, das ich seit zwei tagen nicht gelöst bekomme.

Alternativ kann auch eine andere Seite benutzt werden zb.

- https://btc.com/12dRugNcdxK39288NjcDV4GX7rMsKCGn6B
- https://blockchair.com/bitcoin/address/12dRugNcdxK...

Egal welche, welche aus eurer Sicht am einfachsten zu durchsuchen geht.

Über Tipps oder gar Codeschnipsel wie ichdie drei Werte in eine Variable bekomme, wäre genial.

Viele Grüße
Willi
- rosti
  
  2020-03-07 11:13
  
  User since
  2011-03-19
  3219 Artikel
  BenutzerIn
  
  Ein Webserver schickt auch nur eine Datei. Guck mal in den Responseheader Content-Type das da steht.
  
  MFG
- +3 replies
- haj
  
  2020-03-07 11:24
  User since
  2015-01-07
  531 Artikel
  BenutzerIn
  Das Auslesen von Informationen aus Webseiten ist ... nun ja, ein recht zerbrechliches Verfahren. Webseiten sind für Browser bestimmt, und je nach Lust und Laune des Anbieters kann sich die beliebig verändern, ohne dass Browser-Nutzer davon viel mitbekommen. Das ist also eher eine Notlösung, und wenn's sein muss, ist Perl auch eine gut geeignete Sprache für so etwas.
  
  Man kann HTML-Seiten schreiben, die gut zum "Scraping" geeignet sind, aber diese sind es nicht (beim dritten Link sind schon Euro- und Cent-Werte in getrennten HTML-Elementen).
  
  In solchen Fällen gibt es aber oft auch maschinenlesbaren Output vom selben Anbieter. Beim ersten bin ich fündig geworden: Da gibt es ein API (siehe https://www.blockchain.com/api und https://www.blockchain.com/api/blockchain_api), und für Deine Adresse bekommst Du die Daten als JSON-Struktur unter
  https://blockchain.info/rawaddr/12dRugNcdxK39288Nj....
  
  Da springt einem die Struktur auf oberster Ebene schon direkt mit den von Dir gesuchten Werten ins Gesicht:
  
  Code: (dl )
  
  1 2 3 4 5 6
  
  hash160: "11dbe48cc6b617f9c6adaf4d9ed5f625b1c7cb59" address "12dRugNcdxK39288NjcDV4GX7rMsKCGn6B" n_tx: 2029 total_received: 2468449570426 total_sent: 2426599405906 final_balance: 41850164520
  
  In Perl kann man solche Strukturen mit JSON einlesen und bekommt dann die gesuchten Werte in einen Hash. Und weil der Codeschnipsel hier wirklich recht einfach ist:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14
  
  use 5.020; use strict; use warnings; use LWP::Simple; use JSON; my $address = '12dRugNcdxK39288NjcDV4GX7rMsKCGn6B'; my $content = get("https://blockchain.info/rawaddr/$address"); defined $content or die "Falsche Adresse: '$address'"; my $result = decode_json $content; say "Anzahl Transaktionen: $result->{n_tx}"; say "Insgesamt erhalten: ", $result->{total_received}/1E8; say "Saldo: ", $result->{final_balance}/1E8;
  
  Ausgabe:
  
  Code: (dl )
  
  1 2 3
  
  Anzahl Transaktionen: 2029 Insgesamt erhalten: 24684.49570426 Saldo: 418.5016452
  - rosti
    
    2020-03-07 13:38
    
    User since
    2011-03-19
    3219 Artikel
    BenutzerIn
    
    Genau. Deswegen ja bekommt der Browser einen Header mit dem Content-Type damit er weiß wie die Datei die hinterherkommt, zu verarbeiten bzw. darzustellen ist.
    
    MFG
  - styx-cc
    
    2020-03-07 14:38
    
    User since
    2006-05-20
    533 Artikel
    BenutzerIn
    
    Als Ergänzung, die API von btc.com:
    https://btc.com/api-doc
    
    allerdings habe ich nicht geschaut, ob der genannte Anwendungsfall abgedeckt wird.
    
    edit: blockchair hat wohl auch eine:
    https://blockchair.com/api/docs
    Last edited: 2020-03-07 14:41:00 +0100 (CET)
    Pörl.
- +8 replies
- bianca
  
  2020-03-07 11:25
  
  User since
  2009-09-13
  6978 Artikel
  BenutzerIn
  
  Mit LWP::UserAgent kannst du eine Webseite laden. Und dann per Regex die Werte ziehen.
  Im Beispiel dürften die Transaktionen hiermit aufzufinden sein: if ($html =~ /"txs":(\d+)/) {$wert=$1}
  
  Edit: die JSON-Lösung in haj's Beitrag ist die bessere! Aus HTML zu parsen ist aus vielen Gründen immer eine Krücke.
  
  Editiert von bianca: Edit ergänzt
  Last edited: 2020-03-07 11:28:21 +0100 (CET)
  10 print "Hallo"
  20 goto 10
  - +7 replies
  - clms
    
    2020-03-10 00:44
    
    User since
    2010-08-29
    373 Artikel
    BenutzerIn
    
    2020-03-07T10:25:55 bianca
    Und dann per Regex die Werte ziehen.
    
    Ein Hinweis für Anwendungen wo es keine JSON-Lösung gibt:
    Statt das HTML einer Webseite selbst mit Regex zu durchforsten würde ich es mit HTML::TreeBuilder parsen und dann den Baum durchsuchen.
    Das ist meist deutlich einfacher und robuster.
    - +6 replies
    - Daxim
      
      2020-03-10 08:10
      
      User since
      2007-08-01
      114 Artikel
      BenutzerIn
      
      Die API von TreeBuilder saugt Eselschwänze. Web::Query ist um Größenordnungen einfacher zu bedienen. Illustration, ungetestet:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
      
      use Web::Query::LibXML 'wq'; my $post_wrapper = wq('https://www.perl-community.de/bat/poard/thread/20750') ->find('div.author > a:contains("clms")') ->parent->parent; my $posting = $post_wrapper->find('.posting_content'); $posting->find('blockquote')->remove; my $post_text = $posting->text; my @permalinks; $post_wrapper->find('.anchor a')->each(sub { push @permalinks, $_->attr('href'); });
      - +5 replies
      - GwenDragon
        
        2020-03-10 14:00
        
        User since
        2005-01-17
        14563 Artikel
        Admin1
        
        Ja, das Modul lässt sich erheblich einfacher bedienen.
        Schön, dass du anderen auch Besseres vorschlägst.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +4 replies
        
        Raubtier
        
        2020-03-10 14:26
        
        User since
        2012-05-04
        1056 Artikel
        BenutzerIn
        
        Um noch einen weiteren Vorschlag zu bringen, der sich ähnlich wie der von Daxim bedient: Mojo::DOM funktioniert auch prima.
        
        Ich gebe aber zu, dass manchmal Regexes einfacher sind - aber hängt immer davon ab, wie oft da jemand irgendwelche Formatierungen etc. ändert. (Vorgehen dann: irgendwo einfach schnell alles in Text wandeln und dann im Text suchen)
        
        Edit: ob Mojo::DOM besser oder schlechter ist als Daxims Vorschlag, weiß ich nicht.
        Last edited: 2020-03-10 14:38:20 +0100 (CET)
        
        +2 replies
        
        GwenDragon
        
        2020-03-10 14:44
        
        User since
        2005-01-17
        14563 Artikel
        Admin1
        
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        GwenDragon
        
        2020-03-10 14:48
        
        User since
        2005-01-17
        14563 Artikel
        Admin1
        
        Interessant:
        https://varlogrant.blogspot.com/2015/06/head-to-he...
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        Daxim
        
        2020-03-10 20:11
        
        User since
        2007-08-01
        114 Artikel
        BenutzerIn
        
        Zufällig bin ich Experte auf diesem Gebiet.jpg
        
        Mojo ist schlechter, weil es nicht den CSS-Selektor :contains beherrscht, W::Q aber schon. Damit kann man deklarativ und bequem nach Text suchen, in Mojo muss man jedesmal manuell einen Würgaround hinzufügen. Hintergrund:
        
        https://stackoverflow.com/questions/1520429/is-the...
        https://api.jquery.com/contains-selector/
        https://www.w3.org/TR/selectors-3/#content-selecto...

View all threads created 2020-03-07 09:08.