Backup-Software gesucht für große Raid-Backups (Linux kompatibel)

  • Hallo zusammen,


    Ich suche eine Backup-Software für Linux, mit der ich große Raid-Volumes auf einzelne, externe Festplatten splitten und sichern kann.

    Das Ganze muss ohne Zwischenspeichern funktionieren und vorzugsweise im laufenden Betrieb möglich sein.


    Beispiel:

    36 TB Raid5 soll gesichert werden auf 6 x 6 TB externe Festplatten. Die Software müsste die erste Festplatte voll schreiben und danach warten bis die nächste Festplatte angeschlossen wird usw....


    Die meisten Splitprogramme die ich kenne, würden zunächst die 36 TB zum zwischenspeichern benötigen.



    Ich fand Winrar (Linux) geradezu perfekt für soetwas, aber leider schmiert es ab und wird zu einem Zombi? Prozess.

    Wäre genial wenn das gehen würde, denn mit einem Wiederherstellungsvolume kann eine beliebig defektes Archiv wiederhergestellt werden.


    Benutzt habe ich diesen Command:


    screen -mdS "winrar" rar a -v5300G -vp -m0 -rv2 -s -rr3 /DatenPfad /ExterneFestplattePfad


    Bedeutung:


    -rr3 (3% Wiederherstellungsdaten)

    -s (solides Archiv)

    -rv2 (2 Wiederherstellungsdatenträger)

    -v5200G (5,2 TB große Archive erstellen)

    -vp (Nach jedem Archiv Pause, für HDD Wechsel)

    -m0 (0 keine Kompression und 5 maximale Kompression)

    -a (add Files to Archiv)



    Aber vll. kennt ja jemand Alternativen.

  • Nur zum Verstaendnins: Du moechtest die Platten extern anschliessen und backupen? Wie schliesst Du die an? Wenn Du das via USB machen moechtest,kann ich nur abraten, da viel zu langsam. Wenn schon dann per SATA3

    Wie willst du mit zeitlichen Veraenderungen umgehen? Snapshots ? Wie gehst Du FileLocking um? Das Thema Backup ist sehr komplex. Ich wuerde empfehlen, mit einer zweiten Kiste zu arbeiten, die ueber Netzwerk die Daten zieht und dann kann Du ein SlowBackup machen.

    Generell sollte das mit einem tar umd einem MultiVolume split machbar sein. Oder einem tar | split Zusammenbau, der in eine RAM Disk schreibt und Du asynchron dann auf Festplatten.
    Aber generell fehlen da ein paar Zusatzinfos

    Code
    Stefan Lindecke - lindesbs              | Nicht jeder braucht einen RootServer,
    SeniorAdmin, Contao, OpenSource, Debian | Uebt erstmal in einer lokalen VM !
  • Das kommt dann auf die Software an, wie diese mit zeitlichen Veraenderungen umgeht. Wie würde tar das machen?

    Ich sichere momentan via rsync auf einen zweiten Server, nur alle veränderten Daten seit dem letzten Backup. Das funktioniert auch perfekt.


    Wir haben zwei Server und vom zweiten Server aus wäre auch ein langsames Backup via USB möglich, wahrscheinlich dann die einzige Möglichkeit, damit während dem Backup keine Dateiänderungen stattfinden, die dann zu Problemen führen können ?

  • Ich stelle mir dann nur die Frage, ob TAR dann auch weiß, welche externe HDD angestöpselt werden muss, wenn beispielsweise ein vollständiges Backup auf 10 externe Platten verteilt wurde?

    TAR würde in diesem Fall (sofern ich die ursprüngliche Empfehlung von Loxley richtig verstanden habe) wie auf Band sichern. D.h. nachdem eine Platte voll ist, rührt TAR diese Platte später bei einem inkrementellen Backup nicht mehr an. Oder meinst Du beim Restore?


    Ich stelle mir aber eine ganz andere Frage: Was machst Du, wenn eine Backup-HDD vor oder während der Wiederherstellung ausfällt? Backups auf so viele Platten aufzuteilen, kann je nach eingesetzter Software schnell ins Auge gehen. Im Idealfall verlierst Du dabei nur einen Teil der Daten, im schlimmsten Fall alles.


    Wäre es vielleicht eine Option, ein (Software) RAID mit einer Parität oder Spiegelung über die Backupplatten zu ziehen? Oder hast Du dafür zu wenig Ports? Dann bräuchtest Du wahrscheinlich auch keine Sonderlösungen und könntest das ganze Volume bequem in einem sichern. Statt 6×6 TB würde sich vielleicht auch die Anschaffung neuer (größerer) HDDs lohnen. Mit 3×20 TB könntest Du eine Backup-HDD als Parität verwenden (mein Favorit: ZFS RAID-Z1) und die Kapazität der beiden anderen Platten stünde Dir voll zur Verfügung. Von den drei Backup-HDDs könnte sogar eine ausfallen, ohne dass es zu einem Totalverlust kommt.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    3 Mal editiert, zuletzt von KB19 ()

    Gefällt mir 1
  • Zwei Optionen:

    • Ein weiteres Backup NAS System mit ebenfalls einem einzigen (Raid)Volume, das (wegen Versionierung und Snapshots) eigentlich größer als das QuellNAS sein muss, dafür aber weniger performant sein kann.
    • Eine LTO Bandlibrary mit 4-8 Slots (18TB unkomprimiert pro Band) und passender Software, z.B. Veeam, Archiware P5 und andere, die mit diesen Wechseldatenträgern umgehen können.


    Wenn die Daten businesscritical sind, macht man am Besten beides, denn die beiden Herangehensweisen sichern verschiedene Dinge ab, zudem gilt die 3-2-1 Regel.


    Winrar hat mir einen herzlichen Lacher beschert. Danke dafür.


    Tar wurde übrigens explizit für Backups auf Band gemacht, daher ist es eine Abkürzung für "Tape Archiver".

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

    2 Mal editiert, zuletzt von TBT ()

    Gefällt mir 2
  • Danke euch


    Momentan haben wir die Nutzdaten auf einem Server mit Raid 5. Diese werden täglich auf einen weiteren Server mit Raid 5 gleicher Größe inkrimentell gesichert (mit rsync) und gleichzeitig wird mit rsync auf eine weitere Festplatte (eine) Versionierungen erstellt d.H. die Daten werden nicht überschrieben, sondern auf diese eine Festplatte versioniert.


    Ich denke das ist schon ein ganz gutes Konzept, zusätzlich wollte ich nun aber noch Extern und manuell ca. alle paar Monate ein Backup erstellen.


    Also Winrar war eine Option, da unter anderem Wiederherstellungsarchive unterstützt werden, womit ein beliebiges Archiv (in meinem Fall Festplatte) wiederhergestellt werden kann. Damit könnte ich ein Backup von Server 2 ganz in Ruhe auf mehrere Festplatten verteilen inkl. 1-2 Wiederherstellungsplatten. Ich denke man sollte Winrar nicht unterschätzen ;-))


    Tar scheint ähnliches zu können, weshalb ich mir das mal ansehen werde.

  • Ich kann verstehen, dass ihr für euren Anwendungszweck ein Archivformat sucht, aber überlegt euch doch noch mal, ob ihr nicht lieber ein Backup auf Dateisystemebene haben wollt,, also z.B. mit "dump" bei ext3. Das würde sowohl inkrementelle Backups, als auch ein einfacheres Teilrecovery zulassen.


    Normalerweise würde ich für euren zweck LTO empfehlen, aber mit dem Datenmengen erreicht ihr den sweet Spot für den Anschaffungspreis nicht. Vielleicht wäre UDF direct writing, also direktes Schreiben auf eine Blu-ray Disc, eine Alternative? https://wiki.gentoo.org/wiki/C…riting#UDF_Direct_Writing

    Das ließe sich vielleicht sogar mit rRestic (Deduplizierung!) kombinieren, habe ich aber noch nicht ausprobiert.

  • Momentan haben wir die Nutzdaten auf einem Server mit Raid 5.

    Raid 6 ist in jedem Fall vorzuziehen, da bei Redundanz nur einer Platte das Array bei der heftigsten Arbeit seines Lebens, dem Wiederherstellen der Redundanz, nicht mehr geschützt ist. Fällt während dem Wiederherstellen eine weitere Platte aus.... Goodbye Daten.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

    Gefällt mir 1
  • Ja also wir haben ja 2 Raid 5 Arrays plus geplantes externes Backup.


    Lesefehler würden noch bestimmt durch die SMART-Werte angezeigt? Ich muss mal gucken vll. upgrade ich beides auf Raid 6 und ordere größere Platten.


    Wie schnell sichert denn so ein Band? Bei diesen habe ich ja das gleiche Problem, denn hier muss das Backup ja auch auf mehrere Bänder aufgeteilt werden und ich bin auf die Hersteller-Software angewiesen?


    HDDs sind halt nicht ganz so teuer und würden ja auch nur für das Backup in Betrieb genommen werden.

  • Wie schnell sichert denn so ein Band und bei einem Band habe ich ja das gleiche Problem, denn hier muss das Backup auch auf mehrere Bänder aufgeteilt werden. Hier bin ich auf Herstellersoftware angewiesen, oder ?

    300–750 MiB/s LTO-7, je nach Komprimierung. Nein, z.B. Dump (man dump) kann direkt auf Tape sichern.

  • Lesefehler würden noch bestimmt durch die SMART-Werte angezeigt? Ich muss mal gucken vll. upgrade ich beides auf Raid 6 und ordere größere Platten.

    Das Problem ist, wenn ein Lesefehler beim Recovern des Raids (nach Festplattenausfall) auftritt, ist das Raid Essig. Das SMART dir dann noch anzeigt, dass es einen Lesefehler gab, ist egal.


    Ich bin nicht auf dem Laufenden, aber vor 10 Jahren hieß es von Google, dass SMART nur etwa 50 % der Festplattenausfälle vorher angekündigt hat.

  • 300–750 MiB/s LTO-7, je nach Komprimierung. Nein, z.B. Dump (man dump) kann direkt auf Tape sichern.

    Aber bitte nicht LTO 7 nehmen, wenn LTO 9 aktuell ist.


    Es gibt keine "Herstellersoftware". Es gibt Bandbackup Software.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

  • Ich werde beide Server auf Raid 6 migrieren. Das Argument mit der Wiederherstellung nach Plattenausfall hat mich überzeigt, ist ja eigentlich aus sinnfrei ein Raid 5 zu konfigurieren und eine globale Ersatzplatte zu deklarieren :) Das war nicht zuende gedacht.


    Ich sehe den Vorteil von LTO noch nicht so richtig, denn es dürfte ja egal sein, ob ich auf Festplatte oder auf Band sichere. Ich muss das Backup sowieso auf mehrere Platten und LTOs splitten.


    Der Preis der LTO-Laufwerke ist sehr hoch und es wäre ja dann auch sinnvoll, immer das neueste LTO-Laufwerk zu nutzen.


    Wie sieht es aus, wenn ich eine Datei benötige, kann ich das dann von dem Band runter ziehen oder muss ich das komplette Band erst auf ne Festplatte laden?

  • Ich werde beide Server auf Raid 6 migrieren. Das Argument mit der Wiederherstellung nach Plattenausfall hat mich überzeigt, ist ja eigentlich aus sinnfrei ein Raid 5 zu konfigurieren und eine globale Ersatzplatte zu deklarieren

    Jep, Raid6 ist definitiv sinnvoller als Raid5 mit Ersatz. Du bist sicherer, wenn eine Platte ausfällt und Du noch eine Platte Redundanz hast als keine Redundanz bei einer sofortigen Raid 5 Wiederherstellung. Wenn Du die Platte eh schon im System hast, umso besser.


    Ich sehe den Vorteil von LTO noch nicht so richtig, denn es dürfte ja egal sein, ob ich auf Festplatte oder auf Band sichere. Ich muss das Backup sowieso auf mehrere Platten und LTOs splitten.

    ...

    Wie sieht es aus, wenn ich eine Datei benötige, kann ich das dann von dem Band runter ziehen oder muss ich das komplette Band erst auf ne Festplatte laden?

    Sinnvollerweise nimmt man sich eine Bandlibrary, d.h. ein Gehäuse, in dem 4,8, ..., 40,80 Slot Module verwendet werden, upgradebar bis 540 pro 19" Rack. Darin sind dann eines oder mehrere Laufwerke (eines reicht auch erstmal) und eben so viele 18TB LTO-9 Bänder wie man braucht, sinnvollerweise ein Mehrfaches der Nutzdaten für Versionierung.

    Zum Sichern holt der Bandroboter ein Band und legt es ins Laufwerk ein, dann das nächste und so weiter. Da muss man nichts manuell machen, bis man 50, 500, 1.400, 14.000TB gesichert hat. Für den Restore hält die Bandbackupsoftware eine Datenbank aller Bänder und deren Inhalte vor, d.h. wenn ein Restore einer bestimmten Datei / Ordner etc. angefordert wird, wird zielgenau das Band eingelegt und die Stelle angefahren. Eine solche Herangehensweise ist deutlich praktischer als mehrere einzelne Festplatten handhaben zu müssen.


    Festplatten und Bandbackups decken unterschiedliche Ausfalls- und Problemszenarien ab. Ein Backupserver ermöglicht eine schnelle Wiederherstellung bei versehentlichen Löschungen, Ausfällen des Hauptsystems etc. Ein Bandbackup kann die "last line of defense" gegen einen Verschlüsselungstrojaner sein. Auf dem Hauptsystem wären hierfür übrigens auch noch Snapshots eine Sache, die man unbedingt aktivieren sollte.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

    Danke 1 Gefällt mir 1