hallo.
ich lade bei unserem provider jede nacht einen datenbestand runter.
sind ca. 16 millionen datensaetze - tendenz steigt.
eigentlich hab ich schon 99% der saetze in einer datenbank. restliches 1% ist neu oder sind geaenderte saetze.

da ich nix vernuentuftiges weiss, um nur die aenderungen in der datenbank aufzunehmen, wird die tabelle jede nacht geleert (fast: es gibt ein custom flag, wenn das gesetzt ist, wird der record nicht geloescht: dieser wurde von hand angelegt und wird auch nie in den daten des providers zu finden sein) und dann neu aufgebaut.
was mir eigentlich nicht gefaellt.

es ist auch nur ein MYISAM tabelle, also keine transaktionen. also auch kein rollback. heute morgen warf das script einen fehler, und die datensaetze waren verloren. ein neueinspielen kostet zeit.

habt ihr ne idee, wie ich das verbessern kann?
hatte ueberlegt, immer auf zwei tabellen zu arbeiten. jeden morgen wird eine andere tabelle neuaufgebautl, und in einer dritten tabelle schreibe ich, rein welcher tabelle auf vollstaendigsten ist. so haette ich bei einem crash noch eine fast aktuelle tabelle (wenn datensaetze fehlen, vom neuen download, ist das vernachlaessigbar).
Last edited: 2010-07-12 23:20:39 +0200 (CEST)