Proxmox auf netcup Servern - LVM vs. ZFS

  • Guten Morgen zusammen,


    ich feile gerade an einem neuen Setup und habe in Erinnerung, dass einige hier beim Proxmox Setup auf LVM und andere auf ZFS setzen. Da wir bei den netcup Servern immer nur eine Disk zur Verfügung haben und somit Vorteile, wie RAID, wegfallen, würde mich mal interessieren, welche Gründe ihr für eure Wahl habt.


    Danke schon mal für den Input.

  • ZFS kann per Snapshot Backups erstellen.

    lvm kann das nicht, nur lvm-thin. lvm-thin möchte ich wegen dem erhöhten Monitoring aufwand nicht betreiben. Ohne das Monitoring besteht das Risiko des kompletten Datenverlusts, wenn die Metadaten durch ein volles Volume korrupt sind.


    Siehe hierzu auch https://pve.proxmox.com/wiki/Storage


    Mit meinen eignen Messungen war es auch so, dass Backups mit ZFS schneller und reibungsloser liefen. Ich hatte bei lvm über Software Raid teils massive Probleme, wenn das Raid einen Resync fahren wollte und ich in der Zeit ein Backup geplant hatte.


    Seitdem ich konsequent auf ZFS setze, hatte ich keine Probleme mehr in dieser Richtung.

  • Ich setze ebenfalls konsequent auf ZFS. Einerseits aus den genannten Gründen, andererseits aufgrund der Tatsache, dass man durch die Live Kompression den Storage effizienter nutzen kann und durch das Caching die Zugriffslatenzen wesentlich besser sind.

    Das ZFS kann man übrigens auch in ein Logical Volume packen.


    Ich mache das in der Regel so:

    sda

    -- sda1

    ---- /boot

    -- sda2

    ---- encryption

    ------ LVMs

    -------- /root

    -------- /var/log

    -------- /var/lib/vz

    -------- ZFS für Container


    Bei ZFS gilt aber zu beachten, dass man ohne 8GB RAM eigentlich nicht damit anfangen braucht. Das ist ja gemeinhin bekannt, dass ZFS recht viel RAM braucht bzw. nur mit viel RAM Sinn macht.

    "Denn der radikalste Zweifel ist der Vater der Erkenntnis."

    -Max Weber

  • Bei ZFS gilt aber zu beachten, dass man ohne 8GB RAM eigentlich nicht damit anfangen braucht. Das ist ja gemeinhin bekannt, dass ZFS recht viel RAM braucht bzw. nur mit viel RAM Sinn macht.

    Das ist gelinde gesagt ein Irrglaube (wenn nicht sogar in die FUD-Kategorie einzuordnen). ZFS benötigt dann und nur dann "viel" RAM, wenn Online-Deduplikation zum Einsatz kommt und/oder ein Server als NAS für Arbeitsgruppen/"Hochleistungsanwendungen" konzipiert ist. Allein das Vollaufen eines Pools muss nach wie vor unter allen Umständen vermieden werden – hier schützt eine Reservierung von minimal 15% der Poolgröße vor "Überbelegung" und abgrundtief schlechter Leistung, welche nur durch Pool-Neuinitialisierung geheilt werden kann. Und es sollte eine 64bit-Maschine sein (aufgrund des internen Designs), auf welcher dieses Dateisystem zum Einsatz kommt – wohlgemerkt: sollte, nicht muss. Selbst auf ECC-Speicher kann man notfalls verzichten, wenn man gewisse Dinge beachtet. Es gibt also bspw. gar keinen Grund, einen NUC ohne ZFS zu betreiben…

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE/edit?usp=sharing

  • Irgendwie scheint niemand so wirklich erwähnen zu wollen das ZFS außerhalb des Solaris Kosmos einfach langsam ist und die rechtliche Frage dahinter auch noch nicht so fundierend beerdigt wurde.


    Wenn du features wie "snapshot" brauchst, bau doch einfach eine Kombination aus LVM und Btrfs.

  • Irgendwie scheint niemand so wirklich erwähnen zu wollen das ZFS außerhalb des Solaris Kosmos einfach langsam ist und die rechtliche Frage dahinter auch noch nicht so fundierend beerdigt wurde.


    Wenn du features wie "snapshot" brauchst, bau doch einfach eine Kombination aus LVM und Btrfs.

    Proxmox hat den btrfs Support leider „postponed“. Wie soll man dann selber was kombinieren? Basteln will ich an der Stelle nicht, sondern das machen, was Proxmox vorsieht. Das schließt für mich ZFS ein. Die rechtlichen Lizenzfragen gibt es ja. Wegen Linux gab es auch schon Klagen. Ich bin Privatanwender.

  • Proxmox baut auf ein normales Debian 10 auf. Nur weil PVE mit drauf läuft heißt es nicht das du kein btrfs benutzen kannst oder darfst. Du kannst sogar ein Debian 10 Installieren und danach erst PVE...


    Da gäbe es schon viele Sachen die ich mit "not supported" nicht hätte lösen können. Netzwerkkonfiguration mache ich komplett an Proxmox dran vorbei, weil die Implementierung in der GUI noch ehr einer Beta implementation nahe kommt. Weiter geht es mit dem NVMe Treiber der mitgeliefert kommt, mit dem Debian 10. Der Treiber schaffte jedenfalls eine 3,5GB/s NVMe mit genau 1,2GB/s anzusprechen. Da schleift noch so meine Beurteilung ob ZFS oder NVMe Treiber der schuldige ist. CEPH scheint hingegen richtig gut implementiert zu sein, wenn du nicht gerade special features haben möchtest. Wobei deren Default Konfiguration ein zweifaches Replika setzt was bei drei Knoten nicht so prickelnd ist.


    Langer Text und kurzer Sinn. Es ist dein Linux. Just do it your way.