Defragvermeidung

  • Warum wird bei Netcup eigentlich der frei werdende Speicher beim Löschen von Dateien nicht freiwillig wieder frei gegeben ?

    Dieses ständige Defragmentieren nervt wohl die meisten Kunden. Ebenso die Sache mit den Snapshots. Bei den Mitbewerbern (die ich bisher kenne) werden Snapshots extern abgespeichert und nicht vom Gesamtplattenplatz abgezogen. Vielleicht gibt hier ja ein Mitarbeiter Rückmeldung.


    VG Marco

  • Das mit dem Defragmentieren kannst du selbst übernehmen, ohne den Server neustarten zu müssen. Hierfür einfach mal "fstrim -a" als Root ausführen. Was die Snapshots angeht kann ich dir nur 100% zustimmen, besonders wenn man nur 40 GB SSD Speicher hat.

  • Danke für die hilfreichen oder informativen Antworten :)


    Funktioniert fstrim auch bei den HDD Laufwerken ? Alles was ich im Netz zu diesem Befehl finden konnte, bezieht sich nur auf SSD.

  • Danke für die hilfreichen oder informativen Antworten :)


    Funktioniert fstrim auch bei den HDD Laufwerken ? Alles was ich im Netz zu diesem Befehl finden konnte, bezieht sich nur auf SSD.

    Ja, was du als deine Platte siehst, ist auf der nächsten Ebene nur eine Datei. Mit fstrim gibst du deinem Dateisystem nur die Anweisung die freien Blöcke auch wieder als solche zu kennzeichnen. :)

  • Funktioniert fstrim auch bei den HDD Laufwerken ? Alles was ich im Netz zu diesem Befehl finden konnte, bezieht sich nur auf SSD.

    Funktioniert übrigens nur, wenn im SCP der als empfohlen gekennzeichnete SCSI-Treiber für die Festplatte verwendet wird.


    Alternativ zum Job kann man die Option "discard" in der /etc/fstab nutzen, dann wird On-The-Fly freigegeben.

    Code: /etc/fstab - Beispieleintrag
    UUID=5a0fea90-e5bf-4ede-9435-32f295d4270e / ext4 discard,noatime,errors=remount-ro 0 1

    Produkte bei Netcup: Neues Webhosting (2018) / VPS G7, Debian Bullseye

  • Alternativ zum Job kann man die Option "discard" in der /etc/fstab nutzen, dann wird On-The-Fly freigegeben.

    Würde ich lieber nicht mehr machen. Davon raten diverse Experten und auch netcup mittlerweile ab. Ich persönlich setze es auch nirgends mehr ein, nicht einmal bei meinen VMs zu Hause.


    Bei Systemd gibt es übrigens ein praktisches Service, das statt eines Cronjobs aktiviert werden kann: fstrim.service

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

  • Würde ich lieber nicht mehr machen. Davon raten diverse Experten und auch netcup mittlerweile ab.

    Offtopic, aber interessant, denn das war mir nicht bewusst.


    Gefunden habe ich folgendes, insbesondere die Kommentare von Theodore Ts'o

    Zusammengefasst sind die Gründe gegen discard:

    • discard ist inperformant, da es sofort ausgeführt wird im Gegensatz zu fstrim
    • discard ist gefährlich, da einige SSD-Firmwares damit nicht korrekt umgehen

    Performance sticht!

    So wie ich es sehe, kann es in VMs allerdings nicht gefährlich sein, da die einzige SSD-Firmware des Guest quasi in kvm liegt. Das sieht beim Host natürlich anders aus.


    Also bleibt für meine Anwendungsfälle nur ein Grund für discard: Minimaler Platzverbrauch. Damit ist es - funktionierende SSD-Firmware vorausgesetzt - vor allem für Entwicklerkisten mit VMs interessant.


    KB19

    Was das gemeint?

    Produkte bei Netcup: Neues Webhosting (2018) / VPS G7, Debian Bullseye

  • potato Ja, so ungefähr.


    Ich würde es trotzdem auch in VMs nicht mehr einsetzen, ein täglicher oder wöchentlicher TRIM-Befehl reicht mir persönlich.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

  • Das löst leider nicht das Problem.


    Wenn der Server bei einer Festplattenbelegung von 100 GB eine Datensicherung macht, sind hinterher knapp 300 GB (von 312) belegt. Erst nach einer manuellen Defragmentierung (egal ob über des Interface oder den fstrim Befehl) werden die wieder freigegeben. Das NERVT. Gleiches übrigens, wenn viele (oder große) Dateien übertragen und wieder gelöscht wurden.


    Wenn Netcup das nicht bis zum Vertragsablauf in den Griff bekommen sollte muß ich mir leider einen anderen Anbieter suchen. Ich kann und will nicht den halben Tag mit Defragmentierung verbringen.

  • [..] Erst nach einer manuellen Defragmentierung (egal ob über des Interface oder den fstrim Befehl) werden die wieder freigegeben. [..]

    Wo genau ist hier dann das Problem? Im netcup Ubuntu Image ist ein wöchentlicher fstrim-Cronjob eingerichtet. Ansonsten kannst du auch automatisiert nach deiner Sicherung ein fstrim ausführen. Dauert doch nur höchstens ein paar Minuten und erzeugt so gut wie keine Last auf dem System. Was genau "nervt" dich daran?

  • Mein Server legt 1x am Tag eine externe Sicherung via FTP an. Im Anschluß ist dann immer ein Defrag/Trim fällig, weil sonst das System voll ist.

    Und genau das nervt. Täglich möglichst nach Abschluß der DaSi einloggen und Trim aufrufen.


    Ähnliches, wenn z.B am Tag viele Daten aktualisiert wurden (alte Daten gelöscht neue erstellt). Auch dann ist wieder Trim fällig. Nachdenklich macht mich auch, das ich dieses "Problem" bisher nur bei Netcup habe. Bei anderen Anbietern mußte ich bisher nie Defragmentieren. Ein weiteres Problem ist, das sobald mehr als ca 120GB von den gebuchten 312/320 GB verbraucht/belegt sind, keine Datensicherung oder Snapshot mehr möglich ist, weil der Platz nicht mehr ausreicht.


    Ein Upgrade, auf das nächst größere Paket wäre auch keine wirkliche Hilfe, da ich die zusätzlichen CPU Kerne und den zusätzlichen RAM einfach nicht einmal im Ansatz brauche und die zusätzlichen 160GB rechnen sich bei den Mehrkosten nicht.


    Der Zusatzspeicher den man sich bei Netcup buchen kann z.B. 250GB für 5 Euro im Monat ist für mich keine Option (näheres dazu gern bei Anfrage durch den Support). Ich habe 320 GB Gebucht, kann aber nur 1/3 davon nutzen, weil sonst die Datensicherung nicht mehr funktioniert. :(

  • Mein Server legt 1x am Tag eine externe Sicherung via FTP an. Im Anschluß ist dann immer ein Defrag/Trim fällig, weil sonst das System voll ist.

    Und genau das nervt. Täglich möglichst nach Abschluß der DaSi einloggen und Trim aufrufen.

    Irgendein Script wird doch wohl die Datensicherung anstupsen.

    Und das Script erweiterst du um fstrim. Wo liegt denn da jetzt das Problem?

    Ansonsten legst du einen weiteren CronJob an für den Zeitraum kurz nach einem Backup der fstrim abfeuert.

  • Ich hab da einmal eine dämliche Frage... rsync von einem externen Rechner aus ist keine Option? Somit ein inkrementelles Backup das von einem externen Host aus gesteuert wird? Einzig die Datenbankdumps sollte man vorher erstellen, was auch Platz brauchen wird. Die DBs könnte man aber auch von Aussen dumpen. Oder man sichert gleich auf einen nfs-mount oder einen sshfs-mount oder curlftpmount weg (letzteres wäre für on-the-fly schreiben zu langsam).

    Was lokal die Platte nicht belegt, muss ich nachher auch nicht trimmen.

  • GELÖST :)


    Sorry Netcup, am Laufzeitende, werde ich das Unternehmen verlassen. Nicht nur das Problem mit dem Defrag, sondern auch die Tatsache, das eine Datensicherung nur dann möglich ist, solange nicht mehr als 1/3 des Speicherplatzes (beim RS 1000 G7 SE) belegt ist; haben mich davon überzeugt, das Netcup nicht "mein" Provider ist.

    Ich werde sicher nicht ein oder mehrere Scripte umschreiben, nur damit die Netcuptechnik damit zurecht kommt. Was woanders funktioniert, hat auch bei Netcup zu funktionieren.

    Liebe Usergemeinde, danke für eure hilfreichen Tips bezüglich fsTrim.

  • Bezeichnest Du die Snapshot Funktion im SCP als "Backup" oder meinst Du was anderes? Bei letzterem wüsste ich nämlich nicht, wieso man ohne fstrim Probleme bekommen sollte.


    Sorry, wenn die Frage dumm ist, ich würde es nur gerne verstehen. Persönlich nutze ich die Snapshotfunktion gar nicht, weil sie sowieso keine echte externe Datensicherung ersetzen kann. Und außer bei den Snapshots ist mir bisher kein Fall bekannt, wo ein übervolles Speichermedium Probleme bereiten würde.



    MfG Christian

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)