Also ehrlich gesagt verstehe ich nicht so recht, was die Zeilenenden nun mit irgendwelchen Binärdaten, die in einem Hash gespeichert werden sollen, zu tun haben.

1000 Hash-Werte der Größe 500 MB hört sich jetzt erstmal recht groß an -> das wären ja bis zu 500 GB. Hört sich eher nicht so an, als wolltest du das alles gleichzeitig im RAM haben. Daher: irgendwie scheint mir die Problemstellung merkwürdig. Ein Hash auf Dateinamen vielleicht als Lösung? Was ist denn überhaupt das Problem, wo kommen die Daten her, warum sind so riesige Binärdaten im RAM?