Hallo,
ich habe mehrere Dateien.
1-tmp.lst, 2-tmp.lst, 3-tmp.lst, ..., 20-tmp.lst

diese enthalten alle daten die teilweise doppelt vorhanden sind. es sollen aus den ganzen kleinen dateien eine große gemacht werden und dann die doppelten einträge verschwinden.

ich denke mal alle zeilen als key in nen hash zu packen kann nicht die Lösung sein,
vorallen desswegen nicht weil doch einige mb zusammen kommen...

wie kann ich das relativ speicher-sparend und effektiv realisieren?