Thema Backups

    Hallo zusammen!


    Ich muss jetzt auch mal einen Kommentar zum leidigen Thema Backups und Snapshots (KVM Server) loswerden.
    Vorwegschicken möchte ich, dass ich ansonsten rundum zufrieden bin mit meinem KVM Server hier.


    Aktuell gestaltet sich die Lage ja so, dass Netcup selber keinerlei Backups erstellt, bzw. vorhält.
    Daraus ergibt sich eigntlich für jeden Server-Kunden die zwingende Notwendigkeit, selber für entsprechende Backups zu sorgen. Soweit so gut. Weniger gut ist dann allerdings schon, dass Netcup hier in meinen Augen bis jetzt keine "vernünftigen" Möglichkeiten bietet.


    Ich habe mal ein bisschen hier im Forum gestöbert und u.a. folgende Aussagen gefunden:


    Quote from [netcup] Felix


    Die Backups werden bei KVM-Servern inkrementell auf der virtuellen Disk des KVM-Servers gespeichert. Dieses ist eine hauseigene Funktion die KVM mitbringt. Dieses ist folglich ein ganz übliches Vorgehen. Andere Virtualisierungslösungen wie z.B. VM-Ware handhaben dieses genau so.


    Der Vorteil des inkrementellen Speicherns ist, dass nur wirklich geänderte Daten neu gespeichert werden und damit Speicherplatz belegen. Der Speicherplatz reduziert sich dadurch nicht direkt durch die Anzahl der Backups, sondern durch die Menge der geänderten Daten. Auch können so Snapshots im Betrieb schnell erstellt werden. Das Rückspielen geht hierbei auch sehr einfach und zügig.


    Quote from [netcup] Felix


    Andere Varianten des Backupspaces sind aktuell nicht in Planung. Der Backupspace wird über zwei in sich gespiegelte Storage-Cluster bereitgestellt. Auch ist er örtlich von den anderen produktiven Systemen getrennt. Daher kostet hier der Preis etwas mehr wie bei einem Webhosting-Paket.


    Quote from [netcup] Felix


    Die Snapshots werden direkt über die virtuelle Festplatte der KVM realisiert. Wenn alle Daten auf dieser belegt sind, können keine Snapshots mehr erstellt werden.


    Quote from [netcup] Felix


    Wenn es richtig einfach und kostengünstig sein soll, empfehle ich einen zweiten vServer zu mieten. Den Support dabei bitte darauf hinweisen, dass dieser auf einem anderen Node liegen soll.


    Die Möglichkeit über das VCP Snapshots zu erstellen ist IMHO also für "echte" Backups absolut ungeeignet.
    Denn erstens kann man nur inkrementelle Backups erstellen, wodurch der Speicherplatzbedarf ja automatisch immer weiter ansteigt, und zweitens hat man keinerlei Möglichkeit, diese Backups nach extern zu sichern, da man keinen Zugriff darauf hat.
    Desweiteren gibt es auch keine Möglichkeit überhaupt zu sehen, wie viel Speicherplatz von den Snapshots belegt wird. Und dass diese "direkt über die virtuelle Festplatte der KVM realisiert" werden, macht für mich auch wenig Sinn, denn in erster Linie soll so ein Backup ja für den Fall von Hardwaredefekten da sein.


    Alles in allem sind die Snapshots also für mich in der Praxis unbrauchbar.


    Und wie sieht es bezüglich der Alternativen aus?


    Jetzt mal ganz im Ernst liebe Leute - der Vorschlag einen zweiten vServer zu mieten, nur um den rein für Backups zu nutzen, kann doch nicht euer Ernst sein!?
    Das ist doch wie mit Kanonen auf Spatzen zu schießen ...!


    Zumal wenn man mal davon ausgeht, dass ein Backup-Space mind. dieselbe Größe wie der zu sichernde Server haben sollte (ja auch wenn die Backups gepackt sind, wenn man verschiedene Backups für eine gewisse Zeit vorhalten möchte).


    Bleibt eigentlich nur die für diesen Zweck ja auch gedachte und übliche Option des FTP-Backupspaces.
    Wenn ich aber von dem benötigten Platzbedarf (siehe oben) ausgehe, dann muss ich für einen vServer Uranus (120 GB) ja mindestens 2x den FTP-Backupspace buchen, was dann Kosten in Höhe von € 14,- pro Monat bedeutet.
    Wo bleibt da die Relation, wenn der Server € 14,99 pro Monat kostet!?


    Mal abgesehen davon, dass ich wohl kaum darauf hinweisen muss, dass der Preis im Verhältnis zu den "großen & bekannten" Mitbewerbern für Cloudspeicher alles andere als "konkurrenzfähig" ist.


    Da zählt für mich auch nicht das Argument:"Der Backupspace wird über zwei in sich gespiegelte Storage-Cluster bereitgestellt. Auch ist er örtlich von den anderen produktiven Systemen getrennt. Daher kostet hier der Preis etwas mehr wie bei einem Webhosting-Paket.", denn das sollte ja wohl selbstverständlich sein (was eben u.a. genau bei den Snapshots nicht gegeben ist).
    Man könnte das auch so interpretieren:"Ihre Daten auf einem Backupspace sind gut gesichert - im Gegensatz zu denen auf ihrem Produktivsystem!".


    Lange Rede - kurzer Sinn:
    Ich würde es sehr begrüßen, wenn sich die Netcup Geschäftsleitung doch nochmal Gedanken darüber machen würde, ob es nicht eine für den Kunden "einfache & sichere" Möglichkeit (zubuchbare Option) für Backups ihrer vServer geben würde.


    Bei den durchaus sehr günstigen Preisen für die vServer verlangt ja auch keiner, dass diese Option inklusive sein soll. Aber ein Preis in Höhe von 1/3 des jeweiligen vServer Preises würde ich als "angemessen" betrachten für ein tägliches Full-Backup.


    Man darf dabei ja auch bitte nicht vergessen, dass nur bei Backups, die Netcup selber für seine Kunden durchführt, kein (externer) Traffic anfällt!


    In diesem Sinne allen "Frohe Ostern!"


    Gruß
    Gunther

    VMware KB - Best practices for virtual machine snapshots in the VMware environment:


    Quote
    • Snapshots are not backups. A snapshot file is only a change log of the original virtual disk. Therefore, do not rely on it as a direct backup process. The virtual machine is running on the most current snapshot, not the original vmdk disk files.
    • Snapshots are not complete copies of the original vmdk disk files. Taking a snapshot does not create a complete copy of the original vmdk disk file, rather it only copies the delta disks. The change log in the snapshot file combines with the original disk files to make up the current state of the virtual machine. If the base disks are deleted, the snapshot files are useless.
      [...]
    • An excessive number of delta files in a chain (caused by an excessive number of snapshots) or large delta files may cause decreased virtual machine and host performance


    Aus: VMware KB: Best practices for virtual machine snapshots in the VMware environment

    "Security is like an onion - the more you dig in the more you want to cry"

    Ja, das bestätigt ja meine Aussage, dass es de facto aktuell von Hause aus keinerlei Backup Möglichkeit (seitens Netcup) gibt, da Snapshots eben nicht als solche anzusehen, bzw. zu gebrauchen sind!

    Hi!


    Quote from RayMD

    dd nutzen... dateien herunterladen/uploaden und selbst dafür sorgen, die backups zu verstauen. Ist meist günstiger.


    Das mache ich auch bereits für meine Kundendaten (/var, MySQL Dumps).
    Aber wie sicherst du denn bspw. dein System?
    Der Punkt ist doch der, dass die beste Backup-Möglichkeit immer derjenige hat, der "von außen" auf die Hardware zugreifen kann. Und das ist nun mal netcup. Denn bei allen anderen Backup-Methoden läuft ja systembedingt schon das Backup-Programm auf dem Server ...!


    Quote

    und mit cronjob und co. kann man sich da ein funktionierendes backup system erstellen.


    Automatisierung per Cron ist klar, ändert aber ja nichts an der eigentlichen "Problematik".
    Erzähl' doch mal, wie deine Backup-Strategie aussieht - danke!


    Gruß
    Gunther

    Quote

    Erzähl' doch mal, wie deine Backup-Strategie aussieht - danke!

    Mit dd ein komprimiertes image erstellen, auf ein externen server hochladen, image wieder löschen um platz zu sparen. Und das alles in ein bash-script verpackt. Via crontab eintrag halt automatisiert. Also so schwer ist das ja nicht. Und free space gibt es ja schon für lau. (Ich nutz mein NAS für Backups, da hab ich genug Seicher und ne extra Platte für jegliche Backups).

    Quote from RayMD

    Mit dd ein komprimiertes image erstellen, auf ein externen server hochladen, image wieder löschen um platz zu sparen. Und das alles in ein bash-script verpackt. Via crontab eintrag halt automatisiert. Also so schwer ist das ja nicht. Und free space gibt es ja schon für lau. (Ich nutz mein NAS für Backups, da hab ich genug sSeicher und ne extra Platte für jegliche Backups).


    Also erstellst du per dd ein komplettes Image deiner Festplatte!?
    Oder sicherst du nur bestimmte Verzeichnisse?


    Mir geht es u.a. um die "Open-File" Problematik.


    Ich bin nicht unbedingt der "Linux-Kenner", von daher würde mich mal interessieren, ob man nicht auch einen LVM Snapshot erstellen kann, den man anschließend nach extern wegsichern kann?


    PS: Externen Backup-Space habe ich - das ist nicht das Thema.

    Quote from RayMD

    Habe 2 Scripts. Einmal eins, welches mit dd läuft, damit spreche ich komplette Partitionen an (weekly). Und eins mit tar, womit ich bestimmte Bereiche sichere wie z.B. /var/www/ oder mysql dump (täglich).


    Ob du mir die wohl netterweise mal per Mail schicken würdest?


    Quote

    Open-File?!


    Ja, was ist mit geöffneten Files während du dein Backup erstellst? Die führen doch dann u.U. dazu, dass dein Backup "unbrauchbar" ist.
    Soweit ich das verstanden habe, besteht ja darin einer der Vorteile von Snapshots, da diese den jeweiligen Diensten + Programmen quasi vorher mitteilen, alle geöffneten Files zu schließen und erst dann das Backup davon erstellen.

    Hallo Netsurfer,



    vielen Dank für Ihr Feedback und Ihre Ostergrüße. Ich wünsche Ihnen auch nachträglich ein frohes Osterfest!


    Zunächst einmal generell zu Ihrer Aussage es würde keine Backupmöglichkeit geben eine Korrektur: Es gibt Backupspace bei uns im Angebot. Dieser wird direkt auf unserer Website beworben:


    netcup.de - Produktdetails


    Eine Erhöhung des Backupspaces ist auch möglich. Hier fallen je 50 GB pro Monat 7 Euro (inkl. MwSt.) an.


    Aus Ihrem Beitrag lese ich heraus, das Ihnen der Preis nicht gefällt. Das ist zunächst sicherlich eine subjektive Ansicht. Unter dem Gesichtspunkt das bei einem vServer Neptun 80 GB Speicherplatz 8,99 Euro (inkl. MwSt.) / Monat kosten kann ich dieses durchaus nachvollziehen. Allerdings denke ich das man auch folgende Punkte beachten muss:


    1.) Der Preis / GB des Backupspaces ist vergleichbar mit dem Preis der üblicher Weise für Backspace gezahlt wird.
    2.) Der Backupspace wird weit weniger verkauft, wie die vServer. Dadurch ist der imaginäre Stückpreis teurer.
    3.) Der Backupspace kann auf mehrere 100 TB skaliert werden. So etwas ist bei der Festplatte eines vServer nicht möglich.
    4.) Die Daten werden auf zwei redundanten unabhängig voneinander agierenden Clustern gespeichert. Bei solchen Clustern ist der Preis / GB deutlich teurer wie bei einem lokalen Speicher in einem Server.


    Ich denke besonders die letzten Punkte rechtfertigen die Kosten für den Backupspace.


    Die meisten unserer Kunden buchen daher in der Tat reines Webhosting oder mehrere vServer. Wir haben sogar Kunden die die Daten zwischen den vServern in Echtzeit spiegeln.


    Bitte verstehen Sie mich nicht falsch. Ich kann Ihre Kritik durchaus nachvollziehen. Besonders das Verhältnis der Preisrelation ist auf den ersten Blick nachvollziehbar. Allerdings steckt in einem Backupspace weit aus mehr wie reiner FTP-Speicherplatz.


    Wir werden prüfen in wie weit wir reinen Speicherplatz zu den Preisen der Webhostingangebote bereitstellen können. Sicherlich ist hier einiges realisierbar.

    Quote from [netcup] Felix

    Wir werden prüfen in wie weit wir reinen Speicherplatz zu den Preisen der Webhostingangebote bereitstellen können. Sicherlich ist hier einiges realisierbar.

    Was ich noch interessant finden würde, wäre sowas wie ein "Backup vServer". CPU/RAM könnten dabei minimal sein, nur eine große Festplatte (200-500GB?) müsste vorhanden sein.
    Dann könnte man auf dem vServer einen kleinen Skript laufen lassen welcher automatisch überall die Daten einsammelt und speichert.



    Bisschen Offtopic:
    Ich weiß die Angebote sind super günstig und auch knapp kalkuliert, Ich denke auch das oben die Variante wohl eher nicht umgesetzt wird.
    Da ich zur Zeit an einem (privaten) Projekt arbeite für welches ich "viel" Speicherplatz (500-750GB) benötige, wollte ich mal Fragen ob es möglich wäre gegen Aufpreis mehr Speicherplatz bei den vServern zu erhalten oder ob dies preislich uninteressant ist? "Rechenleistung" ist eher zweitrangig.

    Bei vServern mit extra großen Festplatten besteht das Problem, dass der Speicherplatz für die vServer auf einem Node begrenzt ist. Wenn ein vServer 500 GB belegt, können andere vServer diesen nicht belegen und somit nicht installiert und von uns verkauft werden. Dementsprechend müssen wir für zusätzlichen Speicherplatz so viel berechnen, wie ein zweiter vServer kostet.


    Auf Anfrage kann unser Support zusätzlichen Speicherplatz auf einem externem Storage bereitstellen. Dieser kann per NFS im vServer gemountet werden. Für diesen liegen die Kosten aber ähnlich wie beim Backupspace. Je mehr Speicherplatz abgenommen wird, je günstiger wird allerdings der Preis je GB.


    Wir werden demnächst für die vServer Zusatzfeatures anbieten. Dabei werden unter anderem die NFS-Volumes sein. Zudem arbeiten wir an einer Lösung das Snapshots extern gespeichert werden können. In dem Zusammenhang werden wir die Preise für Backupspace senken.

    Quote from [netcup] Felix

    Auf Anfrage kann unser Support zusätzlichen Speicherplatz auf einem externem Storage bereitstellen. Dieser kann per NFS im vServer gemountet werden. Für diesen liegen die Kosten aber ähnlich wie beim Backupspace. Je mehr Speicherplatz abgenommen wird, je günstiger wird allerdings der Preis je GB.

    Bei den Preisen ist das dann leider uninteressant für mich :(
    Ich denke mit ~500GB bin ich nicht wirklich ein Großabnehmer und mir würde "einfacher" Speicher reichen, also ohne mehrfache Redundanz an versch. Orten in einem Cluster...


    Quote from [netcup] Felix

    Wir werden demnächst für die vServer Zusatzfeatures anbieten. Dabei werden unter anderem die NFS-Volumes sein. Zudem arbeiten wir an einer Lösung das Snapshots extern gespeichert werden können. In dem Zusammenhang werden wir die Preise für Backupspace senken.

    Das klingt wiederum sehr interessant. Wenn "günstiger" NFS-Speicher dabei ist würde ich den direkt nehmen ;) Kannst du schon abschätzen in welchem Rahmen sich das in etwa bewegen wird?
    Hatte schon Angst ich muss zur Konkurrenz abwandern oder solche skurrile Konstrukte wie FTP-Verzeichnis ins Filesystem mounten o.ä. machen...

    Hallo Felix!


    Zunächst einmal besten Dank für das bisherige Feedback!
    Es freut mich auch, dass meine "Kritik" so verstanden wurde, wie sie gemeint war, nämlich als der Wunsch nach einer Erweiterung des Produktportfolios. :)



    Ich hatte sehr wohl auf diese Option hingewiesen und diese auch entsprechend kommentiert ;) :




    Quote from [netcup] Felix

    Wir werden demnächst für die vServer Zusatzfeatures anbieten. Dabei werden unter anderem die NFS-Volumes sein. Zudem arbeiten wir an einer Lösung das Snapshots extern gespeichert werden können. In dem Zusammenhang werden wir die Preise für Backupspace senken.


    Na das klingt doch alles sehr vielversprechend! :)


    Ich bin zuwenig "Linux Kenner" und habe quasi auch keine Ahnung von der Virtualisierung per KVM und allem, was da hinten dranhängt. Von daher kann ich nur äußern, was ich mir als Kunde am liebsten wünschen würde:
    Ich sehe die "Zuständigkeit" für entsprechende Backups immer nach dem "Verursacherprinzip". ;)
    Soll heißen, wenn ich bspw. durch irgendeine "Unachtsamkeit" die Daten meiner Kunden beschädige/ lösche, dann sollte ich über möglichst aktuelle Backups selbiger verfügen, um diese wieder herstellen zu können.
    Wenn jetzt aber, bspw. durch einen Hardwaredefekt, die Daten flöten gehen, dann sollte eben auch der Eigentümer der Hardware in der Lage sein, alles wieder herstellen zu können.
    Die "optimalste" Form, dieses zu gewährleisten, wäre in meinen Augen ein automatischer täglicher Snapshot, der auf einem anderen physikalischen Datenträger gespeichert wird.
    Für eine solche zusätzliche Option, wäre ich ja auch gerne bereit zusätzlich zu zahlen.


    Etwas weniger "komfortabel", aber immer noch besser als die bisherige Situation, ist die Variante ".. einer Lösung das Snapshots extern gespeichert werden können.".
    Ich nehme mal an, dass aktuell die Snapshots (übers VCP) in der Art ablaufen, dass ein (zusätzliches) Volume gemountet wird, auf dem der Snapshot (inkrementell) gespeichert wird und dieses anschließend wieder unmounted wird.
    An dieser Stelle möchte ich auch nochmal auf den Umstand hinweisen, dass lediglich bei Sicherungen, die direkt "vor Ort" vorgenommen werden, kein externer Traffic anfällt!


    Was den reinen Backupspace und seine Kosten angeht, so würde ich bspw. begrüßen, wenn Kunden, die einen vServer haben, einen gleichgroßen Backupspace zum "Vorzugspreis" hinzubuchen könnten.


    Auch den Vorschlag von julian-w bezüglich reiner "Backup vServer" finde ich sehr interessant. So ein vServer mit einem "Debian Squeeze 64 Bit Minimal System, lediglich SSH ist vorinstalliert." Image wäre auch eine Lösung (wenn er auf einem anderen Node läuft). Ließe sich imho ja auch leicht bewerkstelligen, dass er nur als solcher verwendet werden kann, bspw. indem der Zugriff nur über die entsprechende IP des regulären vServers möglich ist.
    Solch eine Variante würde dann aber z.B. die Verwendung von rdiff-backup ermöglichen.


    Noch ein Wort zur Preiskalkulation: Ich würde mir halt wünschen, dass es für vServer-Kunden halt andere Preise für reinen Backupspace geben würde, als für Nicht-Kunden, bzw. Online-Speicherplatz (Cloud Space). Denn das sind imho zwei verschiedene Paar Schuhe ...! ;)


    Also nochmals besten Dank, dass ihr über entsprechende neue Lösungen & Angebote nachdenkt.
    Gerne lasse ich mich überraschen, was dabei herauskommt.


    In diesem Sinne, auf ein langes und für alle Seiten zufriedenstellendes Vertragsverhältnis!


    Gruß
    Gunther

    Ich bin traditionell bei z.B. Froxlor für eine Rsync Online Festplatte mit ssh-Übertragung,
    bei KVM sollte nun ja auch endlich das verbreitete STunnel funktionieren.
    Durch die richtige Scriptwahl kann man versionierte oder auch inkrementelle Backups realisieren.


    Finde FTP zu stumpf.

    Quote from [netcup] Felix

    Wir werden demnächst für die vServer Zusatzfeatures anbieten. Dabei werden unter anderem die NFS-Volumes sein. Zudem arbeiten wir an einer Lösung das Snapshots extern gespeichert werden können. In dem Zusammenhang werden wir die Preise für Backupspace senken.

    Hat sich eigentlich schon was in die Richtung getan?