JSON: mehrzeilige Werte in einzeilige umwandeln (solved) (Allgemeines zu Perl)

[thread]20491[/thread]

JSON: mehrzeilige Werte in einzeilige umwandeln [solved]

Tags: perl5 JSON converter i18n Similar Threads

Readers: 12

Articles: hide open all | hide show old branches

+7 replies

GwenDragon

2018-07-28 13:28

User since
2005-01-17
14741 articles
Admin1

Ich habe von nem Kunden zur Lokalisierung seiner Webapp JSON-Dateien erhalten, welche Strings, numerische Werte und auch HTML enthalten können.

Sie sind wie in der Struktur wie folgt aufgebaut (hier gekürzt zur Anschauung).

Code: (dl )

// Desc: DoScan language file
// lang: DE
// Date: 2012-07-12T1755
//
{       "version" : 37,
	"title" : {
		"description" : "Name der Anwendung",
		"message" : "DoScan"
        },
	"purpose" : { 
		"description" : "Funktionalität der Anwendung",
		"message" : "Diese Anwendung erlaubt das Scannen nach Texten:<br>
<ul>
  <li>Im Netzwerk
<li>Lokal
<li>In der Shell
</ul>
Weiteres unter <a href=\"/manula/scndo\">Manual</a> <br>
"
       },
        //
	"copyright" : {
		"description"  : "Copyright und Rechte",
		"message" : "<p>All Rights reserved.<br>
					(c)2013 Example Gmbh, Oxdorf
                              </p>"
        },
        "prompt_for_name": {
            "message": "What's your name?",
             "description": "Ask for the user's name"
        },
        "hello": {
            "message": "Hello, $USER$",
            "description": "Greet the user",
            "placeholders": {
                 "user": {
                     "content": "$1",
                     "example": "Cira"
                 }
            }

	}
//
}

Das Problem ist dass hier im Falle der Webanwendung (hier Chromium + Mozilla-Kern) JSON nur einzeilige Werte bei message zulässt.

Mit json_pp oder json_xs lässt sich sowas nicht parsen, da meckert es sowohl die Kommentare an als auch die newlines der Werte bei message.
Oder habe ich irgendeinen Parameter bei json_pp übersehen?

Sicher kann man mit einem Texteditor rum wurschteln und das HTML einzeilig machen. Aber solch Sklavenarbeit ist abgeschafft.

Wie bekomme ich das nun automatisiert mit Perl hin, dass die Werte für message in einer Zeile laufen?

Weiß jemand eine Lösung? Es muss nämlich als Perl-Script später automatisiert in einem Makefile laufen.
Last edited: 2018-07-28 14:02:56 +0200 (CEST)

die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

rosti

2018-07-28 15:25
User since
2011-03-19
3463 articles
BenutzerIn
Percent-Encoding wäre meine Idee:
Code (perl): (dl )

1 2

NAME URI::Escape - Percent-encode and percent-decode unsafe characters
MfG

PS: Sieht zwar Scheise aus aber es funktioniert. Wer muss denn die Datei anfassen, doch nicht etwa der Anwender!?

Edit: auf jeden Fall würde ich, wenn ich schon JSON Dateien aus der Hand gebe, ein valides JSON abliefern.

Kommst Du wenigstens an die Daten ran?
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11

use URI::Escape qw(uri_escape); my $data = do{ local $/ = undef; <DATA>}; print uri_escape $data; # eine Zeile __DATA__ Das ist ein mehrzeiliger Text
Last edited: 2018-07-28 16:34:28 +0200 (CEST)
+2 replies
pq

2018-07-28 15:27
User since
2003-08-04
12208 articles
Admin1
Ich würde die // per regex rauslöschen, dann mit YAML::XS laden und mit JSON::PP wieder rausschreiben. Nimm das neueste JSON::PP, um sicherzugehen, dass numerische Werte auch so wieder rausgeschrieben werden.
Oder Cpanel::JSON::XS.
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13

use YAML::XS qw/ Load /; use JSON::PP; my $file = "jsonyaml.txt"; open my $fh, "<", $file or die $!; my $yaml = do { local $/; <$fh> }; close $fh; $yaml =~ s{^ *//.*$}{}mg; my $data = Load($yaml); my $coder = JSON::PP->new->ascii->pretty; print $coder->encode($data);
Das sollte für die meisten Fälle funktionieren. Die Newlines werden in Leerzeichen umgewandelt beim Laden mit YAML.

Davon abgesehen schickt der Kunde dir keine echten JSON-Dateien, wenn die Strings über mehrere Zeilen gehen. Das ist einfach kein valides JSON, weshalb ich es in Anführungszeichen schreiben würde ;-)

Edit: bei der Regex, um // rauszulöschen, kann natürlich was schiefgehen, wenn die sich innerhalb eines multiline strings befinden und eigentlich erhalten bleiben sollten.

Edit2: Du könntest die // durch YAML kommentare ersetzen. Dann bleiben die in den Strings erhalten und du kannst sie wieder in // umwandeln.
Last edited: 2018-07-28 15:37:47 +0200 (CEST)
Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- GwenDragon
  
  2018-07-28 17:12
  
  User since
  2005-01-17
  14741 articles
  Admin1
  
  Danke, Tina, sehr nützlicher Code.
  Auf Einlesen mit YAML wäre ich nicht gekommen, liegt wohl an an der Hitze.
  
  In der Endversion der JSON-Datei sind Kommentare nicht notwendig, da die Datei sowieso nicht mehr bearbeitet und von Menschen gelesen wird, es existiert ja noch das Original, in dem editiert/internationalisiert wird.
  Aber Danke für deinen Nachtrag. :)
  
  Das das geliefert kein valides JSON ist, weiß ich. Aber so sind Kunden, eben mal schnell was reinpatchen.
  Deswegen ist deine Lösung wirklich optimal.
  Last edited: 2018-07-28 17:34:23 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

GwenDragon

2018-07-28 17:11

User since
2005-01-17
14741 articles
Admin1

Meine Lösung, Dank an Tina bezüglich /bat/poard/message/188696:

Code (perl): (dl )

#!/usr/bin/perl

use strict;
use warnings;
use 5.010;
use utf8;
use YAML::XS qw/ Load /;
use JSON::PP;

my $yaml = do { local $/; <> };
$yaml =~ s{^ *//.*$}{}mg;
my $data = Load($yaml);
my $coder = JSON::PP->new;
$coder = $coder->canonical(1);
$coder = $coder->ascii->pretty;
print $coder->encode($data);

Da läuft es wunderbar in der Shell mit:
reformat2json <messages.json >messages.json.new

die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

+2 replies

Daxim

2018-07-30 11:23

User since
2007-08-01
114 articles
BenutzerIn

Kürzeste Lösung:

Code (perl): (dl )

use Syntax::Construct qw(\R);
use File::Slurper qw(read_binary);
use JSON::PP qw();
use Regexp::Common qw(delimited);

my $bin = read_binary 'deperlorg-t20491-m188694.json';
{
    my @delim;
    # find quoted strings that contain unbackslashed whitespace
    # while also ignoring escaped quotes
    while ($bin =~ /$RE{delimited}{-delim=>'"'}{-keep}/cgms) {
        my $delimited = $1;
        push @delim, $delimited if $delimited =~ qr/\R|\t/;
    }
    for my $delimited (@delim) {
        substr $bin,
            (index $bin, $delimited),
            (length $delimited),
            # fix escapes
            ($delimited =~ s/\R/\\r\\n/gr =~ s/\t/\\t/gr);
    }
}
# ::PP skips // comments
use DDS; Dump(JSON::PP->new->utf8->decode($bin));
__END__
{
    copyright => {
        description => 'Copyright und Rechte',
        message     => "<p>All Rights reserved.<br>"
          . "\r\n\t\t\t\t\t(c)2013 Example Gmbh, Oxdorf"
          . "\r\n                              </p>"
    },
    hello => {
        description  => 'Greet the user',
        message      => 'Hello, $USER$',
        placeholders => {
            user => {
                content => '$1',
                example => 'Cira'
            }
        }
    },
    prompt_for_name => {
        description => 'Ask for the user\'s name',
        message     => 'What\'s your name?'
    },
    purpose => {
        description => "Funktionalit\344t der Anwendung",
        message     => "Diese Anwendung erlaubt das Scannen nach Texten:"
          . "<br>\r\n<ul>\r\n  <li>Im Netzwerk\r\n<li>Lokal\r\n<li>"
          . "In der Shell\r\n</ul>\r\nWeiteres unter "
          . "<a href=\"/manula/scndo\">Manual</a> <br>\r\n"
    },
    title => {
        description => 'Name der Anwendung',
        message     => 'DoScan'
    },
    version => 37
}

GwenDragon

2018-07-30 15:21

User since
2005-01-17
14741 articles
Admin1

Ah eine weitere Möglichkeit.
Danke!, ich werde das demnächst testen wie robust deine Lösung ist.
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2018-07-28 13:28.