[Solved] Probleme bei Snapshot-Transfer

    EDIT:

    Die Lösungen des geschilderten Problems findet sich in Beitrag #6

    Ich lasse den EIngangsbeitrag trotzdem stehen, vllt. tappt ja jemand in die gleiche Falle wie ich. ;)



    Die snapshot-Funktion im SCP wurde ja überarbeitet.

    Da ich solchen Neuerungen allerdings nicht blind vertraue, habe ich mal folgendes gemacht:


    offline-snapshot erstellt, exportiert und mit wget über die angegebene url heruntergeladen: (11.72 GB)

    wget -O filename "dl-url"

    snapshot im scp gelöscht, damit ich das Image wieder hochladen kann.

    Heruntergeladenes Image über die generierte url wieder hochgeladen: (hat auch 11.72 GB)

    curl --progress-bar 'upload-url' --upload-file filename | cat

    Den Server daraus wieder aufgebaut.


    Resultat:


    pasted-from-clipboard.png


    Was nutzt mir ein snapshot, den ich nicht wieder einspielen kann? :(


    Aus dem Snapshot, der noch auf dem Server liegt, kann ich allerdings problemlos wiederherstellen.

    Und auch das exportiere Image (welches allerdings erst nach dem Löschen des snapshots unter 'Eigenen Medien' auftaucht) kann korrekt zurückgespielt werden:

    pasted-from-clipboard.png


    Den Support habe ich diesbezüglich nicht angeschrieben, da es möglicherweise ein allgemeineres Problem ist:

    Zitat von hamilrat

    Habe das soeben auch mal getestet und habe selbiges Problem.

    Also Moderatoren :

    Könntet ihr das Problem mal an die entsprechende Stelle weitergeben?


    Jetzt könnte man sagen: Teste es doch mal mit curl statt wget, oder mit dem Download über den Browser. (Wobei letzteres für mich wg. Bandbreite eh nicht in Frage kommt)

    An sich eine gute Idee, aber leider:

    Um das Image wieder hochladen zu können, musste ich den snapshot auf dem Server wieder löschen,

    Und danach steht die Möglichkeit zum Downloads des Exports im SCP nicht mehr zu Verfügung. Die Downloadmöglichkeit wird ja nur beim Snapshot selbst angezeigt. :( Ich müsste also für jeden Versuch einen neuen snapshot inklusive kostenpflichtigem(!) Export generieren. (Nö)


    Ich finde es prima, dass netcup die snapshot-Funktion überarbeitet, aber leider hakt es noch, wie man sieht.

    Aber vielleicht habe ich ja auch was falsch gemacht?

    (EDIT: Ja habe ich. :SBeitrag #6)

  • Zur hilfreichsten Antwort springen

  • aRaphael

    Hat den Titel des Themas von „Snapshot-Export unbrauchbar“ zu „Snapshot-Export unbrauchbar?“ geändert.

    Interessant wäre, ob die exportierte Datei an sich schon kaputt ist oder nur der Import SCP.


    Kannst Du mal prüfen, ob die halbwegs intakt aussieht oder nur Müll enthält?

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Zitat von KB19

    Interessant wäre, ob die exportierte Datei an sich schon kaputt ist oder nur der Import SCP.

    Kannst Du mal prüfen, ob die halbwegs intakt aussieht oder nur Müll enthält?

    Tja, da müsste ich wissen, wie ich das prüfen kann. Ist ja eine Binärdatei. Die sieht ja immer mehr oder wenig wie Datenmüll aus. ;)

    Aber strings -n 5 ... | head liefert zumindest das:

    Code
    GRUB
Hard Disk
Error
EFI PART
Hah!IdontNeedEFI
loading
Error

    Ich habe den Snapshot-Export zuletzt vor zig Jahren verwendet, hilf mir mal auf die Sprünge: Bekommt man dort wie im Screenshot zu sehen eine RAW-Datei oder irgendwas wie QCOW2?


    Wenn es wirklich RAW ist: Schau Dir mal mit fdisk/gdisk die Partitionstabelle an. Und versuche eine Partition davon (Read-Only) zu mounten. Sehr hilfreich dabei ist der Befehl losetup -f -P filename.raw, danach das Loop-Device normal mounten. :)


    Und falls LVM im Spiel ist oder das eine QCOW2-Datei ist, habe ich die notwendigen Befehle leider nicht im Kopf. ;(

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Zitat von KB19

    Und falls LVM im Spiel ist oder das eine QCOW2-Datei ist, habe ich die notwendigen Befehle leider nicht im Kopf. ;(

    Die kann ja bei dieser Gelegenheit der angehende Fachinformatiker für Systemintegration RAD750 im Rahmen seiner Vorbereitung für die Ausbildung nachschlagen und zeitnah hier einstellen. War ja früher schon so, dass in diesen Situationen immer dem Lehrling Gelegenheit geboten wurde, zu üben. ^^

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE/edit?usp=sharing

    Einmal editiert, zuletzt von m_ueberall ()

    Haha 3
    • Hilfreichste Antwort

    Hallo aRaphael,

    Das direkte Uploaden des heruntergeladenen Snapshots ist nicht möglich, da dieser komprimiert ist. Beim Upload werden nur unkomprimierte Dateien vom Typ qcow, qcow2 und raw unterstützt. Ein Snapshot kann wie folgt entpackt werden:

    Code
    zstd -d snapshot.raw.zst -o snapshot.raw

    Oder beim Test direkt beim Download:

    Code
    curl --progress-bar -L <presigned_download_url> | zstd -do snpashot.raw

    OK. Klappt nun. :) (Werde den Threadtitel und Eingangsbeitrag nachher entsprechend modifizieren)


    Eins verstehe ich aber noch nicht so ganz:


    pasted-from-clipboard.png


    Das erste Image ist das exportierte (klappt), das zweite das wieder hochgeladene gepackte (klappt nicht) und das dritte das entpackte und wieder hochgeladene (klappt)

    Warum klappt das erste? Obwohl es doch ganz offensichtlich auch ein gepacktes Image ist, wie man an den Dateigrößen sieht?

  • aRaphael

    Hat den Titel des Themas von „Snapshot-Export unbrauchbar?“ zu „[Solved] Probleme bei Snapshot-Transfer“ geändert.
    Zitat von [netcup] Christina R.

    Das direkte Uploaden des heruntergeladenen Snapshots ist nicht möglich, da dieser komprimiert ist. Beim Upload werden nur unkomprimierte Dateien vom Typ qcow, qcow2 und raw unterstützt. Ein Snapshot kann wie folgt entpackt werden:

    zstd -d snapshot.raw.zst -o snapshot.raw

    OK. Danke für die Info. Das funktioniert nun.


    Allerdings nehmen die entpackten raw-Images zwar nicht extrem viel mehr Platz auf dem Downloadserver ein, sind aber u.U beim Upload deutlich größer ("sparse file") als die komprimierte .zst-Datei. (Im Prinzip so groß, wie die Disk des Servers, aus dem sie erstellt wurden, weil die "Löcher" in der Datei mit hochgeladen werden?). Hatte das eben versucht und wieder abgebrochen. Das dauert bei einem snapshot von einem 640GB-Server ewig.


    Ich rate deshalb, das raw-Image vorher mit qemu-img in qcow2 umzuwandeln und das dann hochzuladen.

    qemu-img convert -p -f raw -O qcow2 image.raw image.qcow2

    Eben auch mal ausprobiert. Der Upload geht deutlich schneller und die Installation daraus klappt problemlos. :)

    Warum wurde das Thema Snapshot/ISO eigentlich so (unnötig) verkompliziert? Was gab es an FTP auszusetzen? All das oben genannte gehört auf jeden Fall ins Wiki, ich sehe genau diese Fragen schon den Support fluten.

    Zitat von sla

    Warum wurde das Thema Snapshot/ISO eigentlich so (unnötig) verkompliziert? Was gab es an FTP auszusetzen?

    Ich sehe das mal positiv und hoffe, es ist einfach eine notwendige Vorarbeit für die angekündigte Umstellung bei den snapshots, die in Zukunft andernorts gespeichert werden sollen, so dass die Limitierung auf 50% wegfällt. :)

  • aRaphael

    Hat einen Beitrag als hilfreichste Antwort ausgewählt.