Medien Festplatte Speichernutzung zeigt falschen Wert an

    Egal wie herum, die Belegung kann nicht unbegrenzt wachsen.


    In Deinem Fall hat der Server 800GB Speicherplatz. Du kannst aber nur solange neue Snapshots anlegen, solange die QCOW2-Datei am Host maximal 400GB groß ist. Nun kannst Du trotz vorhandenem Snapshot solange und so oft Deine virtuelle HDD in der VM vollschreiben wie Du willst. Mehr als weitere 800GB (das Delta zum vorherigen Snapshot) können niemals zustande kommen, da sich ein Block ohne neuerlichen Snapshot nicht mehrfach ändern kann. Das wäre dann der erwähnte Extremfall von 150% (400GB + 800GB), größer wird es nicht.


    Ich gehe sowieso nicht davon aus, dass der Speicherplatz auf dem Hostsystem zu 100% (oder gar 150%) für jeden Kunden reserviert ist. Das ist garantiert eine Mischkalkulation. netcup wird in dieser Mischkalkulation sicherlich genügend Reserven eingeplant haben, u.a. für solche Fälle. Und zu guter Letzt haben sie ein Monitoring, zur Not werden halt VMs auf andere Hosts migriert. Bei VMs ohne Snapshots geht das sogar Live, ohne dass man als Kunde viel bemerkt.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    5 Mal editiert, zuletzt von KB19 ()

    Zitat von DaSch22

    Das Delta wird doch immer ins Snapshot File geschrieben. Somit sollte doch der Snapshot bzw. dessen File wachsen.

    Ja, aber nicht von alleine. Erst beim nächsten snapshot. Da werden dann nur die Änderungen zum letzten snapshot geschrieben.

    Vorher ändert sich nichts am gespeicherten snapshot. (Der ist ja gerade dafür da einen Zustand einzufrieren)

    Oder habe ich dich diesbezüglich jetzt falsch verstanden?

    Zitat von KB19

    In Deinem Fall hat der Server 800GB Speicherplatz. Du kannst aber nur solange neue Snapshots anlegen, solange die QCOW2-Datei am Host maximal 400GB groß ist. Nun kannst Du trotz vorhandenem Snapshot solange und so oft Deine virtuelle HDD in der VM vollschreiben wie Du willst. Mehr als weitere 800GB (das Delta zum vorherigen Snapshot) können niemals zustande kommen, da sich ein Block ohne neuerlichen Snapshot nicht mehrfach ändern kann. Das wäre dann der erwähnte Extremfall von 150% (400GB + 800GB), größer wird es nicht.

    Danke KB19, diese Beschreibung hat es mir verdeutlicht. :thumbup:


    Der Snapshot bzw. die neue "Änderungsdatei" meines Server kann in meinem Fall maximal 80GB ( die 800GB waren von michaeleifel ) groß werden, somit war meine Vermutung, das Snapshotdateien hier bei Netcup unbegenzt wachsen können Blödsinn. Da ich ja ab 50% belegtem Festplattenplatz keinen neuen Snapshot mehr anlegen kann.

    In meiner Labumgebung habe ich auf meinem Storage keine Quota gesetzt und Plattenplatz ist ausreichend vorhanden. Somit hat mich der Fall noch nie ereilt und das hat zum gedanklichen Knoten im Kopf geführt. Der Hauptknackpunkt war mein (Miss)Verständis, das 80GB inklusive Snapshot Platz gezählt wird.

    Zitat von aRaphael

    Ja, aber nicht von alleine. Erst beim nächsten snapshot. Da werden dann nur die Änderungen zum letzten snapshot geschrieben.

    Vorher ändert sich nichts am gespeicherten snapshot. (Der ist ja gerade dafür da einen Zustand einzufrieren)

    Oder habe ich dich diesbezüglich jetzt falsch verstanden?

    Ich glaube wir haben da vielleicht mit den Begrifflichkeiten aneinander vorbei geredet. Ich meinte es so:

    1. Disk Server Datei server.qcow2
    2. Disk Änderungsdatei Datei (nenne ich Snapshotdatei) snapshot-1.qcow2
    3. Snapshot erstellen, dabei wird Datei server.qcow2 in Read only gesetzt und Datei snapshot-1.qcow2 erstellt.
    4. Weitere Änderungen vom Server werden in Datei snapshot-1.qcow2 geschrieben. Datei snapshot-1.qcow2 wird somit immer größer, aber in meinem Fall max. 80GB
    5. Mehr als 40GB+80GB, wie von KB19 beschrieben geht nicht, da ich keine weiteren Snapshots anlegen kann.
    6. Wenn ich den Snapshot lösche, wird Datei snapshot-1.qcow2 in Datei server.qcow2 gemergt. Was dann wieder nur max. 80GB ergeben kann.

    Das sollte genau das sein, was auch die Qemu Doku beschreibt https://www.qemu.org/docs/mast…images.html#snapshot-mode
    Da ich den Snapshot bei 15GB Festplatten Belegung gemacht habe, sollte die SCP Anzeige bei mir auf max. 95GB Speichernutzung gehen.

    Zitat von DaSch22

    Ich glaube wir haben da vielleicht mit den Begrifflichkeiten aneinander vorbei geredet.

    Ja, mag sein. Mich verwirren wohl Sätze wie dieser:

    Zitat von DaSch22

    Weitere Änderungen vom Server werden in Datei snapshot-1.qcow2 geschrieben. Datei snapshot-1.qcow2 wird somit immer größer...

    weil ja ein Datenzuwachs auf dem Server am snapshot, den du angelegt hast überhaupt nichts ändert. Der wächst ja nicht von selbst. (Was ja auch fatal wäre, denn dann könnte man den "gesnapshoteten" Zustand gar nicht mehr herstellen)

    Aber wir reden wohl tatsächlich aneinander vorbei. ^^

    Zitat von aRaphael

    weil ja ein Datenzuwachs auf dem Server am snapshot, den du angelegt hast überhaupt nichts ändert. Der wächst ja nicht von selbst. (Was ja auch fatal wäre, denn dann könnte man den "gesnapshoteten" Zustand gar nicht mehr herstellen)

    Aber wir reden wohl tatsächlich aneinander vorbei. ^^

    Alles gut. Bin mit den Begrifflichkeiten wohl zu sehr Virtualbox geschädigt.

    Da ist es zumindest so, dass nach Erstellung eines Snapshots die neue Datei im Ordner Snapshots anwächst.

    Was ja meiner Beschreibung entsprechen würde.

    Virtualbox.png

    Der eigentliche Punkt mit der SCP Anzeige zur Speicherbelegung und deren Bedeutung ist ja geklärt.

    Mein SCP zeigt: Speichernutzung 714 GiB von 1.040 GiB belegt
    Ich belege aber nur 516GB.


    Habe also ein Trim gemacht:

    Code
    fstrim -va

431GB auf /dev/sda2 getrimmt


    Code
    df -h
Größe 1223 GB
Benutzt 466GB
Verfügbar 516GB


    Muss ich die Speicheroptimierung auch nochmal ausführen, die hatte ich schon gerade vor dem trim ausgeführt?
    Möchte nicht öfter offline gehen als nötig.

    Zitat von aRaphael

    Ja. Erst fstrim und dann die Speicheroptimierung im SCP

    Jetzt lauft die Speicheroptimierung schon 2,5 Stunden.
    Ich war irgendwann ausgeloggt und wenn ich nochmal auf die Medien Seite des Servers gehe sagt es, dass es 16 Stunden dauert (wenn man neu starten würde).
    Die Platte war schon durchaus recht langsam im Vergleich mit anderen Servern. Aber es ist unangenehm so auf Nadeln zu sitzen ;(

    Welchen Grund hat denn die Speicheroptimierung?

    Die zu machen ist eigentlich völlig unnötig, außer du möchtest ein Snapshot anlegen.

    VPS Secret • VPS 200 G8 • 4x VPS piko G11s • 2x RS 1000 G9.5 SE NUE • RS Cyber Quack • VPS 1000 ARM G11 VIE

    mail@compi653.net

    Die Speicheroptimierung ist nun fertig und der Speicherplatz wird richtig angezeigt mit 480GB


    Im Menüpunkt 'Medien' kommt die Meldung:
    Es sind bereits andere Optimierungen am Laufen, daher kann auf dem Wirtssystem keine weitere Optimierung gestartet werden. Bitte zu einem späteren Zeitpunkt erneut versuchen.


    Ich habe den Snapshot trotzdem erstellen können und den Export angestoßen.

    In diesem Zustand kann man aber den Server nicht starten :(

    Im Dashboard kommt die Meldung:
    Information: Es kann keine Aktion für diesen Server ausgeführt werden, da bereits andere Aktionen auf dem Server ausgeführt werden. Es kann keine Aktion für diesen Server ausgeführt werden, da bereits folgende Aktion gerade auf dem Server ausgeführt wird: Snapshot wird exportiert.


    Ähnliches 'Problem' wie hier, ich hoffe bei mir geht der Export schneller und dauert nicht 4-8 Stunden:
    https://forum.netcup.de/admini…rustende-nacht/#post76185
    Edit: Es hat auch sehr lange gedauert: von 23:41 bis 5:50
    Nun ist der Server wieder online.

    Irgendwann zwischen 5h und 6h habe ich auch die Hotline angerufen, aber dann aufs Band geleitet und dort draufgesprochen.


    INFO 02.08.2023 05:50:50 Server wurde gestartet
    INFO 01.08.2023 23:41:32 Snapshot wurde exportiert.
    INFO 01.08.2023 23:30:21 Storage Optimierung beendet
    INFO 01.08.2023 21:10:16 Storage Optimierung gestartet


    Natürlich steht nun wieder eine neue Aufforderung zur Speicheroptimierung:
    Sie besitzen Snapshots. Diese werden während der Speicheroptimierung entfernt. Daher muss eine intensive Speicheroptimierung durchführt werden. Dies kann bis zu 2 Stunden 58 Minuten dauern."   X( :D


    Also die Konsequenz scheint zu sein:


    - Speicheroptimierung ist wohl meist nicht notwendig
    - Wenn man sie macht muss man Offlinezeit einplanen
    - Snapshots haben eine höhere Qualität, wenn man sie offline macht und gehen auch bei 1 TB recht schnell.
    - Vor dem Exportieren des Snapshots sollte man den Server wieder neu starten, sonst ist man offline falls der Exportprozess in einer längeren low-priority Abarbeitung verweilt

    Ich habe vor kurzem eine Speicheroptimierung gemacht und die war in wenigen Minuten durch.

    Auch der Export des danach angelegten snapshots hat nur ca eine Viertelstunde gedauert.

    (Der Server hatte aber auch nur 160 GB SSD)

    Einmal eine blöde Frage in den Raum gestellt: Wenn ich die Partitionen vor der Optimierung auf das Minimum shrinke (e2resize/lvm-resize/...)... geht es dann schneller? Sofern im Hintergrund dynamische Speicherplatzzuweisung arbeitet, sollte das ja gehen, oder?


    Jetzt stehe ich gerade auf dem Schlauch. Hyper-V kann das. Qcow2 mit und ohne preallocation nicht auch?

    https://www.qemu.org/docs/master/system/images.html

    https://en.wikipedia.org/wiki/Qcow