Was man auch nie aus den Augen verlieren sollte, wenns um große Datenmengen geht:
Es gibt Systeme, die sind genau für sowas konzipiert worden. Nennt sich Datenbank.