Viele mp3 Dateien via CGI/FastCGI versenden (Perl/CGI)

[thread]20378[/thread]

Viele mp3 Dateien via CGI/FastCGI versenden

Tags: perl5 CGI Similar Threads

Readers: 13

Articles: hide open all | hide show old branches

+10 replies
Max_Perlbeginner

2017-10-03 15:23
User since
2016-04-04
107 articles
BenutzerIn
Hallo alle,

Seit einiger Zeit grübel ich schon über der Frage herum, wie man über CGI/FastCGI (und ursprgl. auch Plack) statische Dateien versenden kann. Bei mir war das Problem, dass einige wenige Dateien auf einer Webseite zwar über CGI geladen werden können. Ab einer gewissen Anzahl (bei mir geht es um 30 mp3-Dateien, die aber mittels in einem <audio> tag mittels preload="metadata" geladen werden sollen), werden nur noch einzelne Dateien ausgeliefert. Viele können dagegen nicht abgespielt werden.

Ich weiß, wahrscheinlich ist die beste Lösung, Apache das Senden statischer Dateien zu überlassen (was ich derzeit auch mache). Ich möchte aber nur gerne verstehen, warum es das Herunterladen der Audiodateien über CGI/FastCGI nicht so klappt wie gedacht.

Hat irgendjemand eine Idee, wo ich bei der Fehlersuche anfangen kann?

Derzeit erfolgt das Ausliefern statischer Dateien über folgendes noch sehr rudimentäres CGI::Application Modul:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

package Static; use CGI::Application::Plugins::Stream qw(stream_file); [..] sub setup { my $self = shift; $self->start_mode('stream'); $self->run_modes( 'stream' => 'stream' ); } sub stream { my ($self) = @_; $| = 1; my $staticdir = $self->param('staticdir'); $self->header_add(-Content_Disposition => "Inline", -Server => "CGIServer"); my $file = ''; $file = $self->query->path_info(); $file =~ s/^\/static\///; $file = "$staticdir/$file"; my $absfile = abs_path($file) or return $self->file_not_found(); $self->header_add(-content_type => 'text/css') if ($absfile =~ /\.css$/); $self->header_add(-content_type => 'audio/mpeg') if ($absfile =~ /\.mp3$/); # Verhindere Path Traversal Attacks if ($absfile =~ /^$staticdir\// && $self->stream_file( $absfile, 2048 ) ) { return; } else { $self->file_not_found() } } [...]
Ich hatte deswegen schon einmal auf der Github Plack Seite geschrieben (siehe hier), aber so recht verstanden habe ich nich, warum es nicht geht.
Über jeden Tipp, wo ich bei der Fehlersuche beginnen kann, bin ich sehr dankbar...

LG Max
Last edited: 2017-10-03 15:28:48 +0200 (CEST)
- +2 replies
- GwenDragon
  
  2017-10-03 19:05
  
  User since
  2005-01-17
  14741 articles
  Admin1
  
  Ich lasse audio und video direkt ausliefern.
  CGI bremst zu sehr und außerdem kann auch nicht an einer bestimmten Stelle (Stichpunkt: Partial Content, Resume) des MP3 wieder aufsetzen und weiter abspielen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - Max_Perlbeginner
    
    2017-10-04 13:18
    
    User since
    2016-04-04
    107 articles
    BenutzerIn
    
    2017-10-03T17:05:06 GwenDragon
    Ich lasse audio und video direkt ausliefern.
    CGI bremst zu sehr und außerdem kann auch nicht an einer bestimmten Stelle (Stichpunkt: Partial Content, Resume) des MP3 wieder aufsetzen und weiter abspielen.
    
    Ja, ich denke, dass dies auch die beste Lösung ist. Dass es langsam läuft, hätte ich auch erwartet, aber dass es bei vielen Dateien gar nicht funktioniert, das wundert mich halt. Es geht daher eher um eine theoretische Fehlersuche (und damit für mich um ein tieferes Verstehen der ganzen Architektur) als um ein praktisches Problem..
- +3 replies
- rosti
  
  2017-10-04 07:51
  
  User since
  2011-03-19
  3462 articles
  BenutzerIn
  
  Die Fehlersuche beginnst Du damit indem Du Dir die HTTP Response anschaust, insbesondere die Header.
  
  Und vorher ist es evntl. ganz gut zu wissen, was das Problem ist. Wenn nicht alle Dateien ausgeliefert werden würde ich als Erstes gucken ob das immer dieselben Dateien sind die es betrifft und was die ggf. von den anderen Datien unterscheidet.
  
  VfG
  - +2 replies
  - Max_Perlbeginner
    
    2017-10-04 13:21
    
    User since
    2016-04-04
    107 articles
    BenutzerIn
    
    Lieber rosti,
    Danke für Deine erste Wegweisung. Das Problem ist, dass ich bzgl. der nicht geladenen Dateien eigtl. erst mal gar keine HTTP Response erhalte (bzw. genauer gesagt erst, wenn ich das Laden der Webseite abbreche). Heute abend, wenn ich wieder an meinem Rechner bin, werde ich mir aber die Responses noch einmal genauer ansehen und vlt. hier posten. Bislang hab ich aber noch nichts ungewöhnliches dort entdeckt.
    
    Bzgl. der Dateien sind es - glaub ich immer verschiedene (ich check das heute abend aber auch nochmal). Einzeln kann ich auch alle Dateien laden. Nur wenn auf der Seite alle 30 jeweils innerhalb eines <audio>-tags geladen werden sollen, dann geht es nicht.
    
    Kann es an irgendeiner Apache Einstellung liegen. Gibt es daher vlt. irgendwelche Begrenzungen für (Fast-)CGI Anfragen? Da kenne ich mich leider nur sehr rudimentär aus...
    Last edited: 2017-10-04 13:22:54 +0200 (CEST)
    - rosti
      
      2017-10-04 14:01
      
      User since
      2011-03-19
      3462 articles
      BenutzerIn
      
      Dynamische Inhalte werden meist mit Transfer-Encoding: Chunked ausgeliefert weil der Apache die Länge der Datei nicht kennt die er per CGI in STDIN bekommt. Dieses Verhalten kannst Du abschalten indem Du die Länge der Datei in einem Responseheader Content-Length: x deklarierst wobei x die Anzahl der Bytes ist.
      
      Ich würde das einfach mal machen, also einfach mal diesen Header hinzufügen. VG
      
      PS/Edit: binmode STDOUT; nicht vergessen.
      Last edited: 2017-10-04 16:39:48 +0200 (CEST)
- GwenDragon
  
  2017-10-04 13:43
  
  User since
  2005-01-17
  14741 articles
  Admin1
  
  Mir stell sich auch die Frage wie viele gleichzeitige Verbindungen dein Apache und dein FastCGI und dein Browser öffnen kann.
  
  Hast du mal die Logs deines Apache gesehen was da kommt in dem Moment?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- Max_Perlbeginner
  
  2017-10-04 20:07
  
  User since
  2016-04-04
  107 articles
  BenutzerIn
  
  Liebe Gwen, lieber rosti,
  Danke für Eure geduldige Hilfe! Es ist wirklich merkwürdig. In meiner access.log von meinem localen Lighttpd (Apache habe ich nur auf meinem Web Hosting, aber das Problem tritt bei beiden auf), wird scheinbar nur für einen Teil der mp3 Dateien eine GET Anfrage erstellt (ich spar mir das Anhängen der gesamten access.log. Die GET Anfragen schauen alle so aus:
  
  Quote
  ::1 localhost - [04/Oct/2017:19:32:27 +0200] "GET /static/files/media/Musik/Lieder/Waer_ich_ein_Stern.mp3 HTTP/1.1" 200 21713 "http://localhost/hoerproben" "Mozilla/5.0 (X11; Linux x86_64; rv:56.0) Gecko/20100101 Firefox/56.0"
  
  Ich deute das so, dass das Problem schon auf Browser Ebene liegt? Komisch ist nur, wenn ich das Ausliefern Lighttpd bzw. Apache überlasse, dann funktioniert alles einwandfrei.
  
  In meiner breakage.log (entsprich wohl error.log) bei Apache habe ich keine Auffälligkeiten entdeckt.
  Nur File::MMagic (das von CGI::Application:Plugins::Stream benutzt wird) lässt eine Warnung raus und ein kleiner Error kommt, dass favicon.ico nicht gefunden wird (das hab ich noch nicht implementiert):
  
  Quote
  [Wed Oct 4 19:24:47 2017] PLog.cgi: Redundant argument in sprintf at /home/maximilian/public_html/extlib/lib/perl5/File/MMagic.pm line 932.
  [Wed Oct 4 19:32:27 2017] PLog.cgi: Error executing run mode 'show': can't open /home/maximilian/public_html/userdir/pages//favicon.ico.storable: No such file or directory at /home/maximilian/public_html/lib/PLog/View.pm line 84.
  [Wed Oct 4 19:32:27 2017] PLog.cgi: at /home/maximilian/public_html/cgi-bin/PLog.cgi line 49.
  
  Bzgl. der HTTP Requests und Responses erhalte ich keine Antwortkopfzeilen für die nicht geladenen Dateien (die Anfragekopfzeilen sind aber gleich). Für die geladenen Dateien schaut es folgendermaßen aus:
  Antwortkopfzeilen:
  
  Quote
  Content-disposition: Inline
  Content-length: 8289046
  Server: CGIServer
  Content-Type: audio/mpeg; charset=ISO-8859-1
  Date: Wed, 04 Oct 2017 18:01:53 GMT
  
  Anfragekopfzeilen:
  
  Quote
  Host: localhost
  User-Agent: Mozilla/5.0 (X11; Linux x86_64…) Gecko/20100101 Firefox/56.0
  Accept: audio/webm,audio/ogg,audio/wav…q=0.7,video/*;q=0.6,*/*;q=0.5
  Accept-Language: de,en-US;q=0.7,en;q=0.3
  Referer: http://localhost/hoerproben
  Range: bytes=0-
  Connection: keep-alive
  Pragma: no-cache
  Cache-Control: no-cache
  
  Das einzige, was mir komisch erscheint ist, dass bei der Antwortkopfzeile, der Date Wert 2 Stunden früher anzeigt, als es tatsächlich ist..
  Tendenziell betrifft es immer die Dateien, die später auf der Webseite sind. Es sind aber nicht immer die gleichen Dateien betroffen...
  LG Max
- +2 replies
- Max_Perlbeginner
  
  2017-10-05 00:09
  
  User since
  2016-04-04
  107 articles
  BenutzerIn
  
  Okay, ich habe das Problem gelöst, indem ich $self->header(-accept_ranges => "bytes") dem Header hinzugefügt habe (so wie es Apache scheinbar auch macht).
  Macht das für irgendjemanden Sinn??? Ich versteh es noch nicht ganz?
  - GwenDragon
    
    2017-10-05 09:55
    
    User since
    2005-01-17
    14741 articles
    Admin1
    
    Ja, mit dem HTTP-Header sagt der Server dem Browser, dass auch teilweise Daten abgerufen werden können (das nennt man Partial Requests) und dann an beliebiger Stelle (innerhalb des Bereichs der Dateigröße) wieder aufgenommen werden können.
    die Drachin Gwen
    
    Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2017-10-03 15:23.