hallo zusammen,

ich habe versucht den Kode einer französischen HTML-Seite, die in utf-8 kodiert ist, durch perl zu lesen, nur den Text zu extrahieren, um diesen dann in einer Text-Datei zu speichern.

Das problem ist dass im Ergebnis einige Buchstaben durch komischen Zeichen ersetzt sind. Komischerweise werden diese Buchstaben nicht immer ersetzt. D.h. manschmal sind richtig und manschmal sind die ersetzt.

als Beispiel hier ist der original Text aus dem Browser:
Du temps du président Sukarno,l&’Indonésie affichait sans équivoque son mépris pour les contraintes du développement économique et les relations qu&’il implique avec les pays occidentaux.

das extrahierte Text sieht so aus:
Du temps du président Sukarno, l&’Indonésie affichait sans équivoque son mépris pour les contraintes du développement économique et les relations qu&’il implique avec les pays occidentaux.

Bemerkung &’ = Apostroph

[quote=Guest,19.04.2005, 19:03]hallo zusammen,

ich habe versucht den Kode einer französischen HTML-Seite, die in utf-8 kodiert ist, durch perl zu lesen, nur den Text zu extrahieren, um diesen dann in einer Text-Datei zu speichern.[/quote]
Und wie machst du das? Ist das dein großes Geheimnis?
Welche Perl-Version?

Schon einmal was von Encode gehört?\n\n

<!--EDIT|GwenDragon|1113931003-->

hi GwenDragon;

mein Program sieht wie folgt:

Du hast gesagt, dass du utf-8 als Ausgabe moechtest,also hast du auch utf-8 bekommen! Versuch's mal bei der Ausgabe mit encoding(iso-8859-1) statt utf-8.\n\n

<!--EDIT|ptk|1113935770-->

wenn ich nicht sage dass die Ausgabe utf8 ist (also statt die Zeile open(W,">:utf8","out.txt") nur open(W,">out.txt") benutze)
bekomme ich den folgenden fehler:
Wide character in print

mit encoding(iso-8859-1) ist es auch nicht besser, da ich folgeden Fehler bekomme: "\x{2019}" does not map to iso-8859-1

[quote=newbie001,19.April.2005, 20:49]"\x{2019}" does not map to iso-8859-1[/quote]
Damit wirst du wohl leben müssen.
In Unicode gibt es halt zu viele Zeichen und die können nicht alle sinnvoll in die <256 Zeichen eines ISO-Zeichensatzes abgebildet werden.
In dem Fall \x{2019} ( =&’ )
->unicode.org
handelt es sich um ein typographisches Apostroph, für das sie als Ersatzdarstellung ein normales Apostroph \x{0027} vorschlagen.
Warum Perl das nicht für dich macht, weiß ich nicht.\n\n

<!--EDIT|pKai|1113943541-->

Wenn man eine Ersatzdarstellung haben will, muss man Text::Unidecode oder Text::Unaccent oder Text::StripAccents verwenden. Bei der Verwendung von Text::Unidecode empfehle ich einen Blick in den entsprechenden rt.cpan.org-Bereich, da liegt ein Vorschlag, wie man das Modul besser mit iso-8859-1 funktioniert (ansonsten wuerde Text::Unidecode auch deutsche Umlaute umwandeln).

Oder du benutzt einen anderen 8-Bit-Zeichensatz, der das Zeichen darstellen kann. Die Windows-Zeichensaetze (cp1250 etc.) koennen das.

man soll jedoch die wichtigste Frage nicht vom Augen verlieren:
warum bei einer Texteingabe, die in UTF8 richtig kodiert ist (sie wird vom Browser richtig dargestellt und wenn man den Text vom Browser durch copy-paste in einem normalen Editor einfügt werd der Text auch richtig dargestellt) bekomme ich dann als ergebnis einen verfälschten Text?????

Man muss Software sagen, ob es sich um utf-8 handelt oder nicht. Wenn du copy'n'paste machst, dann wird mit Sicherheit ein utf8-Flag im Clipboard gesetzt, so dass alle anderen Programme wissen, dass es sich um utf8 handelt.