Hat jemand eine Idee für folgendes:
Ich möchte eine große Datenmenge (ca. 3 Gb) an Text in eine MySQL Datenbank schreiben.
Die einzelnen Daten können doppelt vorliegen, sollen aber beim Import bereinigt werden. Was ist der ressourcenschonenste Weg?
* Mit jedem Datensatz einmal die Datenbank anfragen, ob er schon vorliegt und dann entscheiden, ob geschrieben werden soll?
* Die Daten vorher sortieren und schauen, ob der aktuelle Datensatz bereits im vorherigen Schritt vorlag und dann schreiben?
* Das Gleiche, nur dass die Daten auf einer RAMDisk vorliegen
* oder ein ganz anderer Weg?
Dabei habe ich ausreichend RAM, um die Datenbank darin vorzuhalten, aber auch SSDs.
Es geht mir hier eher um die theoretische Betrachtung, wo mich interessieren würde, was wohl schneller geschieht.