2012-05-27T08:00:20 rosti

Meine diesbezüglichen Gedanken kommen nicht von ungefähr, täglich habe ich Unmengen von Daten aufzuarbeiten,

wieviel (edit: daten) sinds denn? =)

Quote

Hinsichtlich Performance gibt es noch Einiges zu optimieren und einige der Bremsen sind eben genau solche Sachen, wie hier beschrieben.

kommt natürlich auf die art der daten an, aber ich z.b. schieb täglich 2-3GB an daten nach mysql, und was da sehr geholfen hat, ist, die datensätze, die öfter vorkommen können, in einen perl-hash zu schreiben und den abzufragen, ob der datensatz schon da war und erst dann mit der db zu kommunizieren. den perl-hash kann man serialisieren und über mehrere cronjob-läufe weiterverwenden (je nach grösse und RAM beliebig lange).
das hat wahnsinnig viel gebracht.
ausserdem, wie ja schon erwähnt, bulk inserts.

wieviel dir das ON DUPLICATE wirklich bringt, würde ich schonmal messen. blind zu optimieren macht keinen spass und bringt dir auch nix für die zukunft.
Last edited: 2012-05-27 11:19:29 +0200 (CEST)