encoding mal wieder (Allgemeines zu Perl)

[thread]17733[/thread]

encoding mal wieder

Tags: perl5 encoding utf-8 Kodierung Similar Threads

Readers: 30

Articles: hide open all | hide show old branches

+21 replies
Fragensteller

2012-09-06 15:23
User since
2012-08-01
37 articles
BenutzerIn
Hi Leute,
habe mal wieder eine kleine Nuss...

Mein kleines Script...
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

use utf8; use LWP::Simple; use WWW::Mechanize; ..... $browser = WWW::Mechanize->new( stack_depth => 0, # infinite History timeout => 180, # Network inactivity autocheck => 1, # auto die on errors quiet => 1, ); $browser->add_header( 'User-agent' => 'Mozilla/5.0 (Windows; U; Windows NT 6.1; nl; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13'); $browser->add_header( Encoding => 'text/UTF-8' ); $browser->add_header( Referer => undef ); $browser->get( $sURL ); $sContent = $browser->content(); $sEncodingName = Encode::Detect::Detector::detect($sContent); if ( $sEncodingName eq "UTF-8" ) { open FILE, '>:utf8', $ziel or die "$ziel: $!"; print FILE $sContent; close(FILE); }
Problem ist, ich rufe die Seite ab, lade mir den Inhalt in meine Variable.
Ich benötige den gesamten Content als UTF-8 kodiert.

Ist es kein UTF-8 verwerfe ich es, sonst will ich den Quelltext speichern um diesen später in einem anderen Script weiter zu erarbeiten.

Jetzt ist es aber so, das ich immer "Wide character in print" beim Print FILE erhalte.

Ich frage mich natürlich wie das angehen kann. Erst prüfe ich, ob es UTF-8 ist, dann will ich es als UTF-8 Speichern und bekomme dann den Fehler, das ein Zeichen das nicht im UTF-8 vorhanden ist vorkommt.

Ich tüddel da nun schon Stunden dran rum.

Ziel ist es das ich alles an Quelltext runterladen, egal welche Kodierung vorliegt und diese dann auch HEIL wieder speichern kann.

Umlaute und andere Sonderzeichen wie das € Zeichen werden ja hin und wider als kleine Kästchen oder Fragezeichen oder auch Hyroglyphen angezeigt, wenn ich dann später die Daten öffne.

Vielleicht hat einer eine helfende Idee?

Timo
- +8 replies
- jan
  
  2012-09-06 15:26
  
  User since
  2003-08-04
  2536 articles
  ModeratorIn
  
  geht ">:utf8" denn wirklich als Kurzform für ">:encoding(utf8)"?
  - +5 replies
  - Fragensteller
    
    2012-09-06 15:31
    
    User since
    2012-08-01
    37 articles
    BenutzerIn
    
    2012-09-06T13:26:46 jan
    geht ">:utf8" denn wirklich als Kurzform für ">:encoding(utf8)"?
    
    Hm, ich habe das von hier
    
    http://stackoverflow.com/questions/627661/how-can-...
    
    Quote
    open my $fh, ">:utf8", $filename
    or die "could not open $filename: $!\n";
    - +4 replies
    - jan
      
      2012-09-06 15:33
      
      User since
      2003-08-04
      2536 articles
      ModeratorIn
      
      Mh, ok, versuch's dennoch mal mit der Langform, das klappt eigentlich immer ziemlich zuverlässig.
      Generell solltest Du dich natürlich eher auf die Angaben, die vom Server zurückkommen verlassen und nicht unbedingt mit Detection rumwerkeln.
      - +3 replies
      - Fragensteller
        
        2012-09-06 15:43
        
        User since
        2012-08-01
        37 articles
        BenutzerIn
        
        2012-09-06T13:33:53 jan
        Mh, ok, versuch's dennoch mal mit der Langform, das klappt eigentlich immer ziemlich zuverlässig.
        Generell solltest Du dich natürlich eher auf die Angaben, die vom Server zurückkommen verlassen und nicht unbedingt mit Detection rumwerkeln.
        
        ok, dann noch die blöde Frage... wie bekomme ich die Angabe vom Server?
        
        +2 replies
        
        jan
        
        2012-09-06 16:16
        
        User since
        2003-08-04
        2536 articles
        ModeratorIn
        
        Das ist eine gute Frage. Ich habe mit WWW::Mechanize nur einmal kurz gearbeitet. Intern läuft es ja meines erachtens über LWP und damit auch über HTTP::Message, dann solltest Du das Response-Objekt bekommen können (war das mit my $response = $mech->get($url)?) und da kannst Du dann auf $response->headers->header("Content-type") zugreifen und daraus auch das Encoding ablesen.
        Allerdings sollte imho der Kram schon dekodiert zurückkommen, wenn ich das richtig in erinnerung habe macht $response->decoded_content() auch die Charsets. Da könnte ich mich aber auch täuschen.
        
        Fragensteller
        
        2012-09-07 09:00
        
        User since
        2012-08-01
        37 articles
        BenutzerIn
        
        Mit
        $response->headers->content_type_charset()
        klappt es, falls es einen Interessiert.
        Gibt das Encoding der Seite zurück.
  - +2 replies
  - Linuxer
    
    2012-09-06 15:36
    
    User since
    2006-01-27
    3891 articles
    HausmeisterIn
    
    Die beiden haben einen kleinen, aber feinen Unterschied:
    
    perldoc -f binmode
    ...
    To mark FILEHANDLE as UTF-8, use :utf8 or :encoding(UTF-8) . :utf8 just marks the data as UTF-8 without further checking, while :encoding(UTF-8) checks the data for actually being valid UTF-8. More details can be found in PerlIO::encoding.
    ...
    
    http://perldoc.perl.org/functions/binmode.html
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - Fragensteller
      
      2012-09-06 15:44
      
      User since
      2012-08-01
      37 articles
      BenutzerIn
      
      2012-09-06T13:36:30 Linuxer
      Die beiden haben einen kleinen, aber feinen Unterschied:
      
      perldoc -f binmode
      ...
      To mark FILEHANDLE as UTF-8, use :utf8 or :encoding(UTF-8) . :utf8 just marks the data as UTF-8 without further checking, while :encoding(UTF-8) checks the data for actually being valid UTF-8. More details can be found in PerlIO::encoding.
      ...
      
      ah ok, also besser mit der langform arbeiten.
      ich bin gespannt ob das jetzt klappt.
      http://perldoc.perl.org/functions/binmode.html
- Fragensteller
  
  2012-09-06 15:33
  
  User since
  2012-08-01
  37 articles
  BenutzerIn
  
  Habe es mit ">:encoding(utf8)" versucht und es komtm keine Fehlermeldung mehr. Ich lasse das Script mal laufen und schaue danach nochmal ob jetzt alles stimmt.
- Raubtier
  
  2012-09-06 15:34
  User since
  2012-05-04
  1076 articles
  BenutzerIn
  Mir erscheint das '>:utf8' überflüssig. Du hast doch schon die "richtige" (und nicht Perls interne) Kodierung in $sContent und möchtest daran überhaupt nichts mehr rumdoktoren. Daher einfach als binary öffnen.
  
  Grund ist: du prüfst zwar, ob das wie utf8 aussieht, aber dann müsstest du es auch mit decode dekodieren, wenn du es mit >:utf8 schreiben willst!
  
  Code: (dl )
  
  1 2
  
  if ( $sEncodingName eq "UTF-8" ) { $sContent = decode("utf8", $sContent);
  
  Das use utf8; ist auch überflüssig, das sagt nur, ob dein Script in utf8 ist oder nicht.
  
  Edit: dieser Text ist falsch, wenn WWW::Mechanize das schon decodet. Weiß ich aber nicht, ob es das tut.
  Last edited: 2012-09-06 15:36:11 +0200 (CEST)
- +10 replies
- rosti
  
  2012-09-07 11:07
  
  User since
  2011-03-19
  3505 articles
  BenutzerIn
  
  Quote
  Jetzt ist es aber so, das ich immer "Wide character in print" beim Print FILE erhalte.
  
  Das kommt, wenn ein UTF-8-kodierter String in ein Handle geschrieben werden soll. Perl unterscheidet seit 5.6 zwischen "kodierten Strings" und "Oktetten". Alles was in ein Handler (auch STDOUT) geschrieben wird, das müssen Oktetten sein. Es gibt mehrere Möglichkeiten, dies zu erreichen:
  
  - nur byte-orientiert operieren (macht heute kaum einer mehr)
  - Encode.pm verwenden und aus dem UTF-8-kodierten String Oktetten machen
  - dem Handler bzw. Layer mitteilen, dass UTF-8-kodierte Strings zu erwarten sind (haben die Kollegen hier gepostet)
  - Mit use bytes; auf ByteSemantic umschalten vor dem print
  
  --Rosti
  - +9 replies
  - Muffi
    
    2012-09-07 11:41
    
    User since
    2012-07-18
    1465 articles
    BenutzerIn
    
    Wo gibts denn da eine gute Doku zu dem Thema. Ich kämpf in Perl auch regelmässig mit Encodings.
    1 + 1 = 10
    - +8 replies
    - pq
      
      2012-09-07 11:43
      
      User since
      2003-08-04
      12208 articles
      Admin1
      
      http://perlgeek.de/de/artikel/charsets-unicode
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +7 replies
      - Muffi
        
        2012-09-07 13:53
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        Aber warum geht Perl z.B. davon aus, dass das was ich in Anführungszeichen tippe Binärdaten sind?
        1 + 1 = 10
        
        +6 replies
        
        pq
        
        2012-09-07 13:57
        
        User since
        2003-08-04
        12208 articles
        Admin1
        
        ich versteh die frage nicht ganz. geht es um strings, die direkt im skript stehen? das kannst du doch mit use utf8 beeinflussen. stell dir mal vor, perl würde da alles ohne zu fragen dekodieren.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +5 replies
        
        Muffi
        
        2012-09-07 14:05
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        Die Frage ist, warum geht
        
        Code (perl): (dl )
        
        print lc 'Ä';
        
        nicht.
        1 + 1 = 10
        
        +4 replies
        
        pq
        
        2012-09-07 14:25
        
        User since
        2003-08-04
        12208 articles
        Admin1
        
        geht hier wunderbar =)
        
        wie gesagt, für strings direkt im skript nutzt man use utf8:
        
        Code: (dl )
        
        1 2 3 4
        
        $ perl -wE' use utf8; say lc "Ä"' ä
        
        dann sind die strings automatisch dekodiert und lc() etc. arbeiten characterbasiert. (edit: alternativ kann man natürlich auch Encode::decode() auf den string anwenden)
        
        beantwortet das deine frage?
        Last edited: 2012-09-07 14:26:33 +0200 (CEST)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +3 replies
        
        Muffi
        
        2012-09-07 14:35
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        Hihi, jaja. Aber meine Dateien sind nicht UTF-8, sondern ANSI.
        1 + 1 = 10
        
        +2 replies
        
        pq
        
        2012-09-07 14:48
        
        User since
        2003-08-04
        12208 articles
        Admin1
        
        meh, lass dir doch nicht alles aus der nase ziehen.
        
        sagen wir, du hast latin1 im skript und willst, dass umlaute auf \w matchen und lc() funktioniert.
        das bedeutet etwas mehr aufwand, da du perl das erst sagen musst.
        sagen wir, deine locales sind richtig auf latin1 eingestellt, dann musst du perl mittels use locale noch sagen, dass es sich daran halten soll.
        
        Code (perl): (dl )
        
        1 2 3 4
        
        # abgespeichert als latin1 use locale; my $x = "ÄA"; say lc $x;
        
        Code: (dl )
        
        1 2
        
        LANG=de_DE.ISO-8859-1 perl foo.pl äa
        
        anders kanns ja auch nicht gehen, schliesslich ist es locale-abhängig, was lc zurückliefert.
        
        jetzt beantwortet?
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Linuxer
        
        2012-09-07 16:36
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        Wow, hab ich ein Glück, dass bisher alle meine Daten für lc() oder uc() in ~~Englisch~~ ASCII waren ;-)
        Das ist mir bisher nie so aufgefallen ;-)
        
        Danke von einem Zuschauer für das Beispiel!
        Last edited: 2012-09-07 17:09:45 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!

View all threads created 2012-09-06 15:23.