Thread (Message) | Date | Author |
Score |
Board |
Webseite automatisch auslesen und in .txt Datei exportieren... Bitte um groben Plan - DANKE ;)
(#129339) |
2009-12-14 00:16 |
pq
|
 |
Allgemeines zu Perl |
mit [cpan]WWW::Mechanize[/cpan] kannst du webseiten aufrufen und formulare ausfüllen. es merkt sich für dich auch die cookies.
html parsen am besten mit [cpan]HTML::TreeBuilder[/cpan] |
|
Zugriff auf Webseite https://....: Anfängerproblem
(#79202) |
2004-01-15 12:01 |
JW
|
 |
Allgemeines zu Perl |
Vermutung:
WWW:Mechanize baut auf LWP::UserAgent auf, dass die Funktion
$ua->protocols_allowed(\@protocols); kennt.Vielleicht ist im Skript nur der Zugang zu http:// geregelt. |
|
Kann Formular nicht absenden: WIESO?
(#29131) |
2004-03-13 13:30 |
esskar
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
[quote=[E|B],13.03.2004, 10:07]Würde "text/plain" nehmen... Was spricht dagegen?[/quote]
weil der dafür nicht gemacht ist...
benutzt doch mal www::mechanize um dir solche forms anzuschauen |
|
Modul installieren
(#136870) |
2010-05-06 11:34 |
pq
|
 |
Allgemeines zu Perl |
perl-modul Foo::Bar::Baz => paket libfoo-bar-baz-perl
das wird dir trotzdem gar nix helfen, wenn du weiterhin "use mechanize" schreibst. denn das modul heisst WWW::Mechanize und nicht mechanize. |
|
XML::RSS parst W3C-konformes XML nicht?
(#169614) |
2013-08-18 11:52 |
GwenDragon
|
 |
Fragen zu Perl-Modulen |
Oft sperren Server Browser/Bots mit User-Agents, die irgendwo WWW-Mechanize oder LWP drin haben, weil die Betreiber nicht darauf erpicht sind, dass komplette Websites kopiert, abgergrast werden.. |
|
Zugriff auf SPAN Elemente
(#169369) |
2013-08-05 15:32 |
GwenDragon
|
 |
Fragen zu Perl-Modulen |
Schau dir mal [cpan]HTML::DOM[/cpan] an ;)
Solange die Webseite kein Javascript verwendet wird das wohl gehen mit LWP und WWW-Mechanize zu holen und HTML-DOM zu parsen.. |
|
Problem mit http request
(#166225) |
2013-03-05 14:56 |
GwenDragon
|
 |
Fragen zu Perl-Modulen |
Wo ist denn der Unterschied im HTML?
Ich nehme an, es liegt daran, dass LWP im Gegensatz zum Browser kein Javascript ausführt.
Da kann dir nur [mod]WWW::Mechanize::Firefox[/mod] helfen. |
|
Problem mit http request
(#166225) |
2013-03-05 14:56 |
GwenDragon
|
 |
Fragen zu Perl-Modulen |
Wo ist denn der Unterschied im HTML?
Ich nehme an, es liegt daran, dass LWP im Gegensatz zum Browser kein Javascript ausführt.
Da kann dir nur [mod]WWW::Mechanize::Firefox[/mod] helfen. |
|
Aktion mit einer Website über deren Formular
(#118290) |
2009-01-24 17:28 |
iPerl
|
 |
Allgemeines zu Perl |
Trotzdem kommt:
No such field 'username' at C:/Perl/lib/WWW/Mechanize.pm line 1247
No such field 'password' at C:/Perl/lib/WWW/Mechanize.pm line 1247
Grüße |
|
Aktion mit einer Website über deren Formular
(#118300) |
2009-01-24 18:38 |
GwenDragon
|
 |
Allgemeines zu Perl |
… DOM ist aber irrelevant, da dieses noch durch Javascript (JS) der Website inder Anordnung verändert worden sein kann.
WWW-Mechanize kann kein JS. Deswegen reicht ein Blick in das HTML der Webseite. |
|
Perl, Blog und so (Inhalt runterladen)
(#182393) |
2015-09-26 00:02 |
lichtkind
|
 |
Allgemeines zu Perl |
… server, aber wenn es dein blog ist (welche software) dann solttest du ja irgendwelche adminrechte haben oder? ansonst bleibt nur webscraing also [mod]WWW::Mechanize[/mod] falls das deine Frage war. |
|
LWP::UserAgent und methode post
(#97209) |
2007-08-02 11:23 |
xeroxed_yeti
|
 |
Fragen zu Perl-Modulen |
Vielen Dank renee,
ich hatte zuvor immer WWW::Mechanize genutzt und da hat das Modul selbste den 'submit-button' gedrückt. Ich hab wohl noch zuviel in dessen Nutzung gesteckt. |
|
Hilfe bei LWP::UserAgent
(#97704) |
2007-08-07 15:32 |
renee
|
 |
Fragen zu Perl-Modulen |
… LiveHttpHeaders im Firefox anschauen, welche Requests abgesetzt werden und die nachbauen. Oder Du nimmst [dist]WWW::Mechanize[/dist]. Dort gibt es extra Methoden, die so etwas für Dich übernehmen... |
|
mySQL: SET TRANSACTION READ ONLY
(#105632) |
2008-02-06 14:33 |
guest Gast
|
 |
Datenbanken und Verzeichnisdienste |
… use WWW::Mechanize;
use Term::ReadKey;
my $mech = WWW::Mechanize->new( autocheck => 1 );
$mech = WWW::Mechanize->new();
my $username;
my $passwd;
my $tempfile =… |
|
Was sind das für Daten?
(#175804) |
2014-05-29 13:10 |
bianca
|
 |
Allgemeines zu Perl |
…
use 5.010;
use strict;
use warnings;
use WWW::Mechanize;
my $mech = WWW::Mechanize->new(
cookie_jar => {},
);
my $response = $mech->get('https://www.dab-bank.de');
my $data =… |
|
Webformular mit Daten durch Perl befüllen: Webformular befüllen
(#79378) |
2004-01-22 17:28 |
pq
|
 |
Allgemeines zu Perl |
[quote]Gibt es dazu eine Möglichkeit mit Perl ? Was muss ich dabei beachten ? Welche Module müsste ich dazu benutzen ?[/quote]
z.b. LWP::Simple, LWP::UserAgent, WWW:Mechanize,
WWW:Mechanize::Shell |
|
mechanize und XHTML-Seiten
(#98428) |
2007-08-20 16:46 |
sh
|
 |
Perl/CGI |
Hi,
was ich immer gut finde, ist die Seite mit [cpan]WWW::Mechanize::Shell[/cpan] abzu"surfen".
Wenn Du dann da bist, wo Du hinwillst (d.h. |
|
Täglicher Screenshot mit Perl?
(#132982) |
2010-02-14 19:19 |
pq
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
schau dir mal [cpan]WWW::Mechanize[/cpan] und [cpan]WWW::Mechanize::Shell[/cpan] an.
(edit: wenn es sich um eine einzige, feste url handelt, brauchst du vermutlich nur [cpan]LWP::Simple[/cpan])… |
|
Beispiel für Einsteiger
(#156066) |
2012-02-13 09:21 |
pq
|
 |
Allgemeines zu Perl |
schau dir mal [mod]WWW::Mechanize[/mod] und seine verwandten an, da wird auch ein browser geöffnet.
insbesondere [mod]WWW::Mechanize::Shell[/mod] dürfte sehr hilfreich sein und dir den grossten teil… |
|
Zertifikat für Perl-Community.de
(#192469) |
2020-08-05 17:17 |
Gustl
|
 |
Perl-Community.de |
Bei der Google Suche habe ich folgendes eingegeben "perl www::mechanize set_fields" dann dort den ersten Link vom Forum hier:
https://www.perl-community.de/bat/poard/thread/19164
Vielleicht… |
|
Ajax Request durchführen und Content extrahieren?
(#187901) |
2018-01-14 12:08 |
Ionit
|
 |
Fragen zu Perl-Modulen |
[code=perl]use WWW::Mechanize;
use feature 'say';
my $url = 'http://www.domain.de/user.aspx/GetImages';
my $mech = WWW::Mechanize->new();
$mech->timeout(30);
$mech->agent_alias('Windows… |
|
[FRAGE] perl2exe
(#84338) |
2004-07-16 00:14 |
utang
|
 |
Allgemeines zu Perl |
… at c:/Perl/
site/lib/WWW/Mechanize/FormFiller.pm line 65
WWW::Mechanize::FormFiller::add_filler('WWW::Mechanize::FormFiller=HASH(
0xad63bc)','cf_anrede','Fixed','Herr') called at… |
|
dmake errors
(#140822) |
2010-08-20 15:52 |
jayr
|
 |
Installation und Konfiguration |
… lib/WWW/Mechanize/Link.pm blib\lib\WWW\Mechanize\Link.pm
cp lib/WWW/Mechanize/Image.pm blib\lib\WWW\Mechanize\Image.pm
cp lib/WWW/Mechanize/Cookbook.pod blib\lib\WWW\Mechanize\Cookbook.pod
cp… |
|
Perl@FrOSCon 2010
(#140857) |
2010-08-23 11:50 |
renee
|
 |
Perl-Community.de |
… WWW::Mechanize::Firefox (Max Maischein) - http://corion.net/talks/WWW-Mechanize-FireFox/www-mechanize-firefox.html
Web::Scraper (Max Maischein) -… |
|
mechanize und XHTML-Seiten
(#98922) |
2007-08-31 14:10 |
pepeB
|
 |
Perl/CGI |
Wenn Du dann da bist, wo Du hinwillst (d.h. wenn Dein Formular ausgefüllt ist) zaubert Dir der Befehl "script surfme.pl" ein Perl-Skript, welches genau das tut, was Du in… |
|
installiertes Modul Mechanize wird nicht geladen
(#186548) |
2017-05-19 11:05 |
PerlNewbie
|
 |
Installation und Konfiguration |
… wobei ich jetzt 2 installierte Module habe, einmal [quote] WWW-Mechanize / Area: perl /Installed 1.73 / Available [/quote]
und einmal [quote] WWW-Mechanize / Area: site /Installed 1.75 / Available… |
|
Quellcode einer Website abziehen
(#188559) |
2018-06-21 13:39 |
haj
|
 |
Linux |
Wenn's "wie im Browser" aussehen soll, dann kann man auch beim Browser ansetzen und diesen automatisieren. Dazu helfen [mod://WWW::Mechanize::Firefox] mit dem… |
|
Aktion mit einer Website über deren Formular
(#118292) |
2009-01-24 17:46 |
murphy
|
 |
Allgemeines zu Perl |
… line 1247
No such field 'password' at C:/Perl/lib/WWW/Mechanize.pm line 1247
[...][/quote]
Vielleicht kommt [tt]WWW::Mechanize[/tt] ja durcheinander, weil die Eingabefelder in dieser Webseite… |
|
Wide character in Compress::Raw::Zlib::crc32
(#149202) |
2011-05-27 12:37 |
bianca
|
 |
Allgemeines zu Perl |
… tabs=4]#!/usr/bin/perl -w
use strict;
use warnings;
use WWW::Mechanize;
use Compress::Raw::Zlib;
my ($d, $status) = new Compress::Raw::Zlib::Deflate ( -CRC32 => 1, ) ;
my $mech =… |
|
welche module könnt ihr mir empfehlen: pm-webbaukasten aufrüsten
(#28538) |
2006-05-19 10:35 |
renee
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
Zusätzlich zu [cpan=WWW::Mechanize]WWW::Mechanize[/cpan] vielleicht auch [cpan=HTTP::Recorder]HTTP::Recorder[/cpan] und [cpan=HTTP::Proxy]HTTP::Proxy[/cpan]. |
|
LogIn Skript
(#141280) |
2010-09-10 17:18 |
guest 180
|
 |
Allgemeines zu Perl |
… code :
[code]#!/usr/bin/perl
use strict;
use warnings;
use WWW::Mechanize;
my $email = 'Sample';
my $password = 'Sample';
my @fields = ("email" , "password");
my $browser =… |
|
Error POSTing File in Perl
(#176874) |
2014-08-17 11:47 |
comcom
|
 |
Allgemeines zu Perl |
…
my per code looks like this:
[code]
use WWW::Mechanize;
$agent = WWW::Mechanize->new( cookie_jar => {} );
$agent->post('http://www.kleiderkreisel.de/photo/ajax_photo_action',
[… |
|
bash oder PHP übersetzen nach Perl
(#190555) |
2019-09-26 13:30 |
Daxim
|
 |
sonstige Sprachen, auch PHP |
… zum Testen. Daher, stumpfsinning wie bash:
[code=perl]use WWW::Mechanize qw(); # I hate 4 arguments LWP::UserAgent::credentials
my $uri = 'urn:dslforum-org:service:DeviceConfig:1';
my $action… |
|
Platzhalter für HTML-Ausdrücke (reguläre Ausdrücke)
(#135772) |
2010-04-06 13:56 |
pq
|
 |
Allgemeines zu Perl |
[code=perl]
use WWW::Mechanize;
[...]
my @links = $mech->links();
[/code]
[/quote]
inwiefern kommt das "ohne den parser" aus? intern wird in WWW::Mechanize auch ein parser verwendet. |
|
Speedport Hybrid Telefonbuch Import/Export
(#185486) |
2016-10-12 22:09 |
bianca
|
 |
Allgemeine technische Fragen |
Dazu geeignet wären [mod]WWW::Mechanize[/mod] oder direkt [mod]LWP::UserAgent[/mod]. Da ich annehme, dass die Router Oberfläche nicht speziell dagegen gesichert ist z. |
|
Komma-separierte Datei (war: LWP::UserAgent)
(#142059) |
2010-10-19 20:06 |
clms
|
 |
Fragen zu Perl-Modulen |
nur den letzten HTTP-Request abzuschicken.
In komplizierteren Fällen könnte [cpan]WWW;:Mechanize[/cpan] helfen.
Oder ist da ein CAPTCHA vorgeschaltet? |
|
Alarm() macht nicht was es soll
(#69309) |
2006-08-28 14:49 |
Oliver_M
|
 |
Allgemeines zu Perl |
Für die Aufrufe verwende ich WWW::Mechanize.
Habe den Alarm auch schon auf 2 Sekunden eingestellt... hat aber trotzdem irgendwie nicht funktioniert. |
|
[FRAGE] perl2exe
(#84340) |
2004-07-16 01:37 |
utang
|
 |
Allgemeines zu Perl |
Meinst du es reicht wenn ich
"WWW::Mechanize::FormFiller" als notwendiges Modul übergebe oder möchte er die classe auch noch =)
Aber bin euch wieder mal dankebar das einen vorallem so schnell gut… |
|
Dynamisches Webseiten Testing
(#191326) |
2020-02-06 12:49 |
haj
|
 |
Perl/CGI |
…
https://metacpan.org/pod/WWW::Mechanize::Firefox
[/quote]Das hat den Nachteil, dass es nur mit alten Firefox-Versionen (<=54) funktioniert. |
|
Was sind das für Daten?
(#175916) |
2014-06-05 07:40 |
bianca
|
 |
Allgemeines zu Perl |
Ja, mit [code=perl tabs=4]my $mech = WWW::Mechanize->new(
cookie_jar => {},
ssl_opts => {
SSL_version => 'TLSv1',
SSL_ca_file => Mozilla::CA::SSL_ca_file()… |
|
Automatisiert Flash-Formular ausfüllen
(#67665) |
2006-06-28 06:40 |
morph
|
 |
Allgemeines zu Perl |
Gibt es eine Möglichkeit, derartige Formulare ähnlich [cpan=http:]WWW::Mechanize[/cpan] auszulesen, bzw. auszufüllen?
Vielen Dank für Eure Anregungen.
-uw |
|
LWP und PHP
(#29333) |
2004-08-09 14:23 |
zaphod
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
Gibt es einen Weg mit LWP - besser noch mit
WWW::Mechanize - PHP-generierte Seiten
zu verarbeiten, Formulare auszufüllen, Buttons klicken,
Links folgen,...?
Hat von Euch schon jemand vor dem… |
|
Daten aus Webseitensuche auslesen, davon anhängige Objekte aufrufen, Ergebnis anzeigen
(#144692) |
2011-01-14 19:04 |
GwenDragon
|
 |
Allgemeines zu Perl |
…
http://www.slideshare.net/thomasfahle/webautomatisierung-mit-wwwmechanize
http://www.thomas-fahle.de/talks/WWW-Mechanize.pdf
Was hast du denn schon probiert? |
|
dmake errors
(#140823) |
2010-08-20 16:08 |
MatthiasW
|
 |
Installation und Konfiguration |
… eine Testdatei einfach HTTP::Server::Simple::CGI und bei einer anderen schlägt lediglich ein Test fehl, daher würde ich es mittels [tt]force install WWW::Mechanize[/tt] trotzdem installieren.
MfG |
|
dmake errors
(#140821) |
2010-08-20 15:34 |
renee
|
 |
Installation und Konfiguration |
… PPM nicht gefunden wird - und es kein Linux-Modul ist - dann stehen die Chance normalerweise sehr gut, dass es "normal" über den CPAN-Client installiert werden kann:
[tt]cpan WWW::Mechanize[/tt] |
|
html Textfeld
(#127842) |
2009-11-05 11:38 |
LE
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
… die vorher nicht gekommen ist:
Argument "<title>PM ...</title>\n" isn´t numeric in numeric gt (>)at /root/bin/.../WWW_Mechanize-1.60/lib/WWW/Mechanize.pm line 1340.
Was sagt mir das ganze? |
|
html Textfeld
(#127860) |
2009-11-05 13:58 |
renee
|
 |
Webframeworks, Sonstige Fragen zur Webprogrammierung mit Perl |
Ich glaube, das war vorhin ein Denkfehler von mir. WWW::Mechanize sollte ja eigentlich die Felder, die gesetzt sind, automatisch mitsenden - bin mir da aber gerade nicht 100%ig sicher. |
|
captcha auslesen
(#142173) |
2010-10-25 17:42 |
GwenDragon
|
 |
Allgemeine technische Fragen |
… mich interessieren, warum du das Cpatcha nicht selbst eingeben willst?
2) Klar, das geht mit [cpan]LWP[/cpan] oder [cpan]WWW::Mechanize[/cpan].
Alles eine Frage der genaueren Aufgabestellung. |
|
uri bei r e l i n k . u s (rl)
(#133365) |
2010-02-20 12:25 |
GwenDragon
|
 |
HTML, CSS und Javascript |
Es ließe sich vielleicht der Firefox mit Perl steuern udn du könntest darüber an die Informationen kommen.
Da gäbe es dann: [cpan]WWW-Mechanize-Firefox[/cpan]
Schau es dir doch mal an. |
|
Internetseite anmelden und bestimmte Inhalte auslesen
(#183038) |
2015-11-23 13:58 |
jan
|
 |
Allgemeines zu Perl |
Wenn Du [cpan]LWP::Protocol::https[/cpan] installierst und die benötigten Module dafür, dann sollte das klappen.
Für die eigentliche Arbeit würde ich vermutlich [cpan]WWW::Mechanize[/cpan] nutzen. |