Thread LWP für eine 400MB CSV-Datei.: kann das gehen...? (12 answers)
Opened by olruebe01 at 2006-12-31 20:45

olruebe01
 2007-01-13 02:59
#9443 #9443
User since
2006-01-19
192 Artikel
BenutzerIn
[default_avatar]
Hi,

sorry, dass ich mich erst jetzt melde, musste ein paar Tage weg.

Die Lösung habe ich gefunden und sie ist recht einfach (auch ohne SIMPLE):
Code: (dl )
1
2
3
4
 my $ua = LWP::UserAgent->new;
$ua->timeout(180);
$ua->env_proxy;
my $response = $ua->mirror("$URL", $file);


MIRROR sorgt dafür, dass die Datei direkt gespeichert wird und NICHT über den RAM läuft. Auf diese Weise schafft mein Server etwa 6-8 MB pro Sekunde und sowohl RAM, CPU und LoadAverage sind sehr entspannt...

Danke für Eure Hilfe.

View full thread LWP für eine 400MB CSV-Datei.: kann das gehen...?