Backup spezifischer Ordner

  • Hallo zusammen,


    ich hoffe, das ist der richtige Thread für dieses Thema. Tatsächlich bin ich ein blutiger Anfänger, was die Einrichtung und Veraltung von Root-Servern (allesamt betrieben mit Debian 12) betrifft. Ich habe ein Medienbibliotheken-Projekt, welches das Zusammenspiel vierer Root-Server umfasst aufgesetzt. Wenngleich die Medien zu einem späteren Zeitpunkt an ein CDN übertragen und dort gespeichert werden, befinden sich die Medien für einen begrenzten Zeitraum lokal auf dem Webserver, da diese ggf. bearbeitet oder verändert werden können. Nun gilt es, eine geeignete Backup-Strategie für diese Medien auszuarbeiten.

    Folgende Themen sind mir wichtig:

    • Ich möchte sämtliche Daten auf einen externen FTP-Server übertragen (außerhalb von Netcup für größere Datensicherheit).
    • Ich möchte keine Archive (ZIP/TAR, ...) generieren und übertragen, das wären immense Datenmengen. Wir sprechen von rund 250-500GB Daten, die auf dem Root-Server herumliegen, und das könnte noch mehr werden.
    • Ich möchte einige Revisionen aufbewahren. Grundsätzlich habe ich mir vorgestellt, alle 2 Tage ein Backup zu übertragen und die letzten 5 Backups aufzubewahren. Das Löschen der älteren Backups auf dem FTP muss irgendwie automatisiert gelöst werden können.
    • Ich möchte nicht das gesamte System backupen. Ich habe separate Backups um meine Konfigurationen uvm. zu sichern, hier geht es wirklich bloß um einen lokalen Medienordner.


    Hat jemand Erfahrungen damit? Leider ist das Spektrum an Informationen im Internet riesengroß und nicht sehr spezifisch für meinen Anwendungsfall. Ich möchte natürlich auch die Server und insbesondere den Upload-Traffic schonen - und genau hier ist das Problem, sonst würde ich einfach ein Script schreiben, das per Cron alle Files von einem Ordner zu FTP pusht.


    Ich kann mich noch wage an das Tool UpdraftPlus erinnern, das ist ein Backup-Plugin für Wordpress, welches eine ähnliche Funktion mittels PHP bewerkstelligt. Das hat mich zu der Überlegung gebracht, evtl. die Logik in ein PHP-Script zu implementieren und mittels der Datenbank die Historie der Backups zu protokollieren, um alte Backups automatisiert zu löschen. Wäre das ein denkbar guter Ansatz oder würdet ihr mir abraten?

    Ich konnte leider noch nicht wirklich viele fertige Software-Pakete finden, die meinen Anforderungen entsprechen. Ich habe mir z.B. https://duplicity.gitlab.io/docs.html angesehen, das basiert aber auch auf Archiven. Generell wäre ich eher der Meinung, es mache Sinn, ein simpel lesbares Backup aufzubewahren, um im Fall der Fälle einfach von FTP zum Server zurückzuclonen, ohne wieder Software installieren zu müssen, die evtl. in mehreren Jahren nicht mehr zur Verfügung steht und dadurch gefährdet, dass ich mein ggf. inkrementelles Backup nicht wieder ordnungsgemäß zurückführen kann.

    So - nun aber genug von meinen vielen wirren Gedanken... Ihr seht, ich könnte darüber stundenlang philosophieren. Daher möchte ich euch fragen: Wie habt ihr das gelöst? Gibt es Empfehlungen die ihr geben würdet oder Fehler, die ihr vermeiden würdet?

    Vielen Dank vorab und beste Grüße!

  • Evtl. einfach nur konsolenbasiert? Ein crongesteuertes rsync z.B.

    Ein kurzes bash-skript mit ein paar Zeilen, einen cronjob und das wars?

    Hallo Raphael, danke für die Antwort! Naja, im Grunde wie in meiner Frage gesagt: Das ist eine Möglichkeit, aber ich bin aktuell nicht sicher, ob es auch die beste ist...


    1) Wie stelle ich sicher, dass ältere Backups automatisiert gelöscht werden? Das muss automatisiert geschehen, sonst ist nach 5 Tagen der FTP Speicher voll, wenn ich mal ausfalle, und die Backup-Strategie ist dahin...


    2) Wie überwache ich die Backups, das Script könnte abbrechen aus irgend einem Grund und ich generiere ein unvollstä diged Backup


    3) Ich würde täglich viele hundert GB herumschaufeln, da ich damit sämtöiche Dateien übertrage. Angenommen es sammeln sich 2TB Daten am Server an, was für einen Medienserver nicht unüblich ist, was dann? Dann ist ja nach einigen Tagen schon das gesamte Traffic Limit von Netcup überschritten.

  • 3) Ich würde täglich viele hundert GB herumschaufeln, da ich damit sämtöiche Dateien übertrage. Angenommen es sammeln sich 2TB Daten am Server an, was für einen Medienserver nicht unüblich ist, was dann? Dann ist ja nach einigen Tagen schon das gesamte Traffic Limit von Netcup überschritten.

    Ist das denn wirklich nötig? Kommen da tagtäglich so viele neue Medien hinzu?

    [RS] 2000 G9 | Cyber Quack

    [VPS] 2000 ARM G11 | 1000 G9 | 200 G8 | Secret | A | mikro G11s | 4x nano G11s
    [WH] 8000 SE | 4000 SE | 2000 SE

  • Wie wärs mit rsnapshot? Das kann eigentlich alles was du erwähnt hast.

    Meine Minecraft-Plugins auf SpigotMC (Open Source): www.spigotmc.org/members/mfnalex.175238/#resources

    Discord: discord.jeff-media.com

    Einmal editiert, zuletzt von mfnalex ()

  • borg, bzw. borgmatic macht halt auch Archive. Aber das ausdünnen von Backups funktioniert problemlos, komprimieren und de-duplizieren sowieso.

    Und es gibt auch eine Stelle wo man bequem den Status "hat alles geklappt" abgreifen kann. Das hängt man in einen Heartbeat Monitor im Monitoring und schon gibts nen Alarm wenn nicht alle 24 Stunden die "alles hat geklappt" Url aufgerufen wird.