~s findert string nicht wieder (Allgemeines zu Perl)

[thread]20465[/thread]

~s findert string nicht wieder

Tags: perl5 regex utf8 substr Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+3 replies
mazorro

2018-05-23 08:17
User since
2018-05-13
2 Artikel
BenutzerIn
Hallo,
mir begegnet ein seltsames Phänomen.
Ich extrahiere einen Teilstring aus einer Zeichenkette per substr
Code: (dl )

1 2 3 4 5 6

if ($utfzeile =~ m/\"(.*)\"/) { $anfstr = index($utfzeile,$hochkomma,0); $endstr = index($utfzeile,$hochkomma, $anfstr +1); $laenge = $endstr - $anfstr; $teilzeile = substr($utfzeile,$anfstr, $laenge);
wenige Zeilen später möchte ich diesen Teilstring ersetzen
Code: (dl )

$utfzeile =~ s/$teilzeile/$neuzeile/;
jetzt wird dieser Teilstring aber nicht mehr gefunden.
das passiert immer dann wenn der String ein nicht UTF8 ZEichen enthält, in diesem Fall ein ü als xFC.
Ein encode vorher hilft auch nicht.

Weiß jemand, was da passiert und wie ich es abstelle ?

und zur Info: so sieht der Code-Abschnitt komplett aus
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

while ($utfzeile =~ m/\"(.*)\"/) { $anfstr = index($utfzeile,$hochkomma,0); $endstr = index($utfzeile,$hochkomma, $anfstr +1); $laenge = $endstr - $anfstr; $teilzeile = substr($utfzeile,$anfstr, $laenge); $neuzeile = $teilzeile; $neuzeile =~ s/\,|\;|\|//g; $neuzeile =~ s/$hochkomma//g; $utfzeile =~ s/$teilzeile/$neuzeile/; };
und zur weiteren Info: das Script entfernt potentielle Feldtrenner zwischen zwei Hochkommas und dann auch die Hochkommas, damit die Daten sauber von einer Teradata geladen werden können.
- haj
  
  2018-05-23 10:24
  User since
  2015-01-07
  527 Artikel
  BenutzerIn
  Hallo mazorro,
  
  An dem Skript sind mir gleich mehrere Dinge aufgefallen, die gar nichts mit UTF-8 zu tun haben. Vielleicht kannst Du uns einen Beispiel-String zur Verfügung stellen, bei dem das Programm nicht das tut, was Du erwartest - und am besten auch einige, bei denen es das richtige tut?
  
  Hier mal zwei verdächtige Beispiele, was der Code-Abschnitt aus verschiedenen Werte von $utfzeile macht:
  
  "foo" wird zu foo"
  "(abc)" oder "a\b" oder "3$" laufen in eine Endlosschleife
  
  Zum ersten Punkt: Das abschließende Hochkomma kommt nicht in $teilzeile, wird also bei der Substitution s/$teilzeile/$neuzeile/ gar nicht angefasst.
  
  Zum zweiten Punkt: Ein wesentlicher Unterschied zwischen index und regulären Ausdrücken ist der, dass bei letzteren alle möglichen Zeichen eine Sonderfunktion haben. Wenn irgendeins von denen zwischen Hochkommas eingeschlossen ist, dann wird die Substition schiefgehen. Anstelle von
  
  Code (perl): (dl )
  
  $utfzeile =~ s/$teilzeile/$neuzeile/;
  
  musst Du dies also abstellen, am einfachsten so:
  
  Code (perl): (dl )
  
  $utfzeile =~ s/\Q$teilzeile\E/$neuzeile/;
  
  Und nun kurz zum "ü": Wenn eine Datei ein Byte xFC enthält, dann kann man sie gar nicht als UTF-8-Datei einlesen - Perl stirbt beim Versuch mit utf8 "\xFC" does not map to Unicode. Da muss auch vorher schon was schiefgelaufen sein.
- rosti
  
  2018-05-23 10:40
  
  User since
  2011-03-19
  3194 Artikel
  BenutzerIn
  
  Hi,
  
  Perl Expressions arbeiten auch mit UTF-8-kodierten Zeichenketten. Sofern diese denn auch UTF-8-kodiert sind. Also nimm da nicht die Bytes sondern utf-8-kodierte Zeichenketten. Zwischen diesen beiden Dingeln vermittelt Encode::encode();
  
  MfG
  
  PS: http://perl.rolfrost.de/exputf8.html
  
  .
  Last edited: 2018-05-23 11:39:22 +0200 (CEST)

View all threads created 2018-05-23 08:17.