Was mag die schnellste Variante sein, um die Anzahl an Zeilen in einer Textdatei zu ermitteln?

1.) In einer Whileschleife durchlaufen (die Datei muss dafür ganz gelesen werden) und immer einen Zähler hochzählen?

2.) Tie::File verwenden, scalar @array, untie?

3.) Aufruf von wc -l und hoffen, dass es vorhanden ist

4.) ?


Ideen, Tipps, Erfahrungen, Meinungen? :-)

Anderer Vorschlag:

hm, im zweifelsfall benchmarken.
aber da es meines wissens keine schnellere lösung gibt als alle zeilenumbrüche zu zählen würde ich die methode mit der while schleife bevorzugen.

[E|B

,21.04.2004, 11:21]Anderer Vorschlag:

Code: (dl )

1
2
3

open(F, "file.txt");
print scalar(@array = <F>);
close(F);

oha! du willst die ganze file in einen array lesen?!?
bei einer datei die so gross ist, dass man sich um die performance einer blossen zeilenzählung gedanken macht würde ich mir das aber noch mal überlegen.

@crain: wie gross ist die datei denn? und wie viel RAM hat deine Maschiene?

Wenn das ein Dateichen ist brauchst du weder eine Schleife noch ein Modul.
Wenn das so eine rießen Datei ist ok, dann ist der Vorschlag natürlich unangebracht. Aber ich glaube kaum, dass bei kleineren Dateien ein so imenser Performanceverlust vorliegt.

Ich glaube es ist Zeit für Benchmark.pm. :D

Die Reihenfolge (ohne zu benchmarken) duerfte 3 - 1 - 2 sein. In C geschriebene Programme werden meistens schneller sein, sobald die Laufzeit des Programms den Overhead des zusaetzlichen Prozessaufrufs ueberwiegt. Tie::File duerfte am langsamsten sein, da hier zusaetzliche Datenstrukturen (e.g. Seek-Positionen von jeder Zeile) verwaltet werden, die nur Zeit und Speicher (und wegen der deshalb noetigen malloc- und sbrk-Aufrufe wiederum Zeit) verbrauchen.

also ich kann jetzt schon sagen, dass ich heute keine zeit zum benchmarken hab.
wenn das ein dateichen ist, dann muss man sich keine gedanken um performance machen, für den fall finde ich deinen code sehr elegant.

aber wenn du mal in den originalpost schaust, geht es da um die schnellste variante. ich hatte da jetzt schnell mit performant gleichgesetzt und nicht mit schnell programmiert.

Ich weiß nicht genau, wie groß die Dateien werden können... bisher kamen aber schon welche mit um 1,2 Mio Zeilen vor. Und man könnte sie noch in den Hauptspeicher (512MB) einlesen, aber das macht man natürlich nur ungern, zumal wenn es nicht nötig ist.

Die Datei wird später eh nochmal Zeile für Zeile eingelesen und verarbeitet, ich möchte nur gerne den Fortschritt der Arbeit in Prozenten ausrechnen können, das kann ich aber natürlich nur, wenn ich vorher weiß, wieviele Zeilen die Datei hat. Und dieses nice-to-have darf natürlich nicht signifikant Zeit kosten.

Ich denke ich bau es einfach ein und schau mal... ums Zählen der Umbrüche kommt man wohl wirklich nicht herum.

Ich dachte nur, vielleicht wäre Tie::File und dann die Arraygröße ermitteln irgendwie schlau, aber dafür muss er ja auch mindestens alle Umbrüche zählen...

[quote=Taulmarill,21.04.2004, 11:34]also ich kann jetzt schon sagen, dass ich heute keine zeit zum benchmarken hab.
wenn das ein dateichen ist, dann muss man sich keine gedanken um performance machen, für den fall finde ich deinen code sehr elegant.

aber wenn du mal in den originalpost schaust, geht es da um die schnellste variante. ich hatte da jetzt schnell mit performant gleichgesetzt und nicht mit schnell programmiert.[/quote]
genau ;-)

schnell programmiert wäre kürzer gewesen als die Frage zu stellen :-D\n\n

<!--EDIT|Crian|1082540383-->

sonst nimm doch einfach die dateigröße und lass anschließend den fortschritt durch die anzahl der verarbeiteten bytes anzeigen, nach dem motto "eine lange zeile mit mehr daten kostet mehr zeit", das spart dir den ersten zählvorgang komplett und ist auch nicht ganz so schlimm ;)

arrggg, kann ... mich nicht .... zurückhalten....
muss ... benchmarken .....





text.txt ist 20267625 Bytes gross und hat 1.200.000 Zeilen