NAS Umbau / Upgrade

  • Hallo Zusammen,


    ich teile mit euch mal mein Arbeits-Logbuch für den Umbau meines NAS / Heimservers.


    Bisher habe ich eine Workstation als Server laufen mit Intel Xeon W3565 (4 Kerne, 8 Threads) mit 24 GiB unbuffered unregistered ECC RAM, was der maximalen Ausbaustufe entspricht.

    Das System genehmigt sich satte 120W im Leerlauf und 200W im Start / unter Last.


    Dranne hängen je vier WD Ultrastar DC HC310 - SAS Festplatten mit 4K nativ Sektoren in einem zfs RaidZ1 Verbund und zwei 256 GB SATA SSDs im Raid1 für das Betriebssystem.

    Die Datenträger hängen an zwei LSI SAS2008 Karten und das OS-Raid wird dadrüber verwaltet - das Mainboard unterstützt nämlich nur SATA II (3 Gb/s).


    Das ganze wird unterstützt durch Proxmox für diverse Windows VMs, eine Telefonanlage, DNS Server (PiHole), Samba und NFS Server (NAS), Videostreaming Server, Arch Paket Cache.

    Dazu gibt es noch eine 10G SFP+ Netzwerkkarte und eine Grafikkarte, falls man mal draufgucken muss.


    DSC_0186.jpg


    Warum eigentlich SAS? - Das frage ich mich auch gerade.

    Ich wollte Festplatten, die nativ das SCSI Protokoll sprechen - das sorgt für weniger Overhead, weil SATA Platten per AHCI angesprochen werden - und 4Kn Platten haben im zfs Einsatz einige Vorteile.

    SATA Platten machen einem das Leben schon einfacher manchmal.


    DSC_0187.jpg


    In einer Telegram Gruppe wurden mir einige Komponenten für einen schmalen Taler angeboten.

    Es gab einen AMD Epyc 7351P mit passendem Mainboard, Kühler und Gehäuse für 400 Taler. Schnapper.

    Dazu habe ich mir noch zwei 32GB Schokoriegel LRDIMMs (Buffered, Registered ECC - damit kann man das Mainboard voll bestücken und hat am Ende satte 2TB RAM) für 140 Taler und ein 80 Plus Platinum 550W Netzteil für 120€ gekauft.


    Das Zeug kam heil an, ich habe zunächst nach Anleitung den Lüfter und RAM montiert.

    Für den RAM gibt es in der Anleitung vom Mainboard eine Bestückungstabelle, wo man seine zwei einsamen Riegel reinstecken soll.


    DSC_0179.jpgDSC_0181.jpg


    Die Sockel für AMD Epyc Prozessoren und AMD Threadripper sind identisch zueinander - der Lüfter, eigentlich für den Threadripper, passt also.

    Leider ist die Ausrichtung etwas suboptimal, da der Epyc um 90° gedreht ist, im Vergleich zum Threadripper.

    Dafür ist Server RAM stets Stromlinienförmig zur Front angeordnet - mal sehen was das wird.


    Im Gehäuse gibt es viel Platz für Kabelmanagement und ein paar Bitumen Matten zur Schalldämmung.

    Die HDD Käfige lassen sich unterschiedlich anordnen, u.a. für eine bessere Luftversorgung.


    Ein Käfig musste zum Mainboard-Einbau raus, die Fronttür habe ich auch entfernt.

    Das Netzteil bekommt von unten Luft und die Lüftersteuerung des Netzteils habe ich deaktiviert.


    Kurz Saft anschließen um zu sehen, ob die erstandenen Teile auch funktionieren.


    DSC_0182.jpgDSC_0183.jpgDSC_0184.jpg


    Löpt. Memtest86+ läuft auch durch, sofern man die aktuellste Version 6 nimmt.


    Bleiben ja nur noch die Festplatten und das Kabelmanagement, persönlich durch die PC-Ente überwacht.


    DSC_0188.jpg


    Kabelmanagement für Server? Kein Problem wenn die Kabel lang genug sind - sind sie aber nicht - zumindest nicht das 24 Pin Hauptkabel.

    Und die Festplatten? Will nicht. Das Mainboard hat übrigens viele SATA Ports, da kann man viele SATA Festplatten anstecken - sofern man welche hätte.


    Diese 10 Jahre alten SAS Controller haben noch eine alte Firmware, und das Zeug ist auf BIOS ausgelegt, nicht auf UEFI.

    Die kann man also neu Flashen.


    Zunächst funktionieren die Flashtools für Linux nur, wenn die Karten halbwegs initialisiert sind - und dann auch nicht vollständig.

    Empfohlene Vorgehensweise lt. Netz ist das Flashen direkt per EFI oder DOS. Für EFI-Flashen braucht man eine EFI-Shell - die dann aber in Version 1, und nicht 2 - weil unterschiedliche EFI Executables unterschiedlich sind. Nicht ganz zu leicht zu finden, funktioniert aber auch nicht. Na und FreeDOS - hat auch so seine Probleme mit dem Flashtool.


    Was dann aber funktioniert hat, ist das Flashtool unter FreeDOS auf dem alten NAS - das hat nämlich noch ein BIOS und kein UEFI.

    Zudem hat die Karte eine Idenditätskrise - die ist nämlch HP gebranded, zurück zur alten Firmware geht es auch nicht.


    Nach etlichem ein und ausstecken zwischen den beiden Systemen funktioniert es dann letztendlich immer noch nicht.


    Die noch nicht geflashte Karte also wieder zurück ins alte NAS, SSDs ran und Image ziehen.

    Im neuen System ein LVM RAID und die Images wieder rüberspielen, wenigstens das Betriebssystem funktioniert dadurch.


    Und die SAS Platten? Die älteren Controller haben noch PCIe 2.0 Anbindung und die AMD Epyc und Ryzen Plattformen haben da ihre Probleme mit, sofern man im BIOS Setup nicht den Link Speed einstellen kann. Kann das Mainboard hier scheinbar nicht, auch nicht nach einem Firmware-Update. (Danke AMD?)


    Bleibt also erstmal nur eine neue SAS HBA bestellen und bis dahin dieses "Serverless" auszuprobieren.


    [Fortsetzung folgt...]

  • Du brauchst keine Grafikkarte, bzw. nur einmal, denn Du hast ein ASMB9-iKVM drauf, mit dem Du KVM (Keyboard Video Maus) übers Netz machen kannst. Das Ding kann dann definitiv für immer headless betrieben werden.


    Evtl solltest Du die oberen Verkleidungen abnehmen und den CPU Lüfter oben rauspusten lassen.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

  • Du brauchst keine Grafikkarte

    Die war für das alte System und wird auch im alten System bleiben.


    Evtl solltest Du die oberen Verkleidungen abnehmen und den CPU Lüfter oben rauspusten lassen.

    Mal gucken, wie sich das System am Bestimmungsort so verhält.

    Dadurch, dass eine Glasfaser hinten rauskommt, kann das Ding eh nicht dicht an der Wand stehen.

  • Es geht weiter :)


    Ich habe mir eine gebrauchte HBA (HPE H240) für 70€ gekauft und ein passendes MiniSAS zu SFF-8482 Kabel für 19€ gekauft.

    Nachdem ich im BIOS das PCI Option ROM für die Karte deaktiviert habe, funktioniert diese, die Platten sind ansprechbar und der zfs Pool war direkt vorhanden und gesund.


    Der Briefträger hatte übrigens nicht geklingelt und das Paket in eine Filiale JWD gebracht. Naja...


    Verbräuche: unter Last beim Hochfahren sind es 150W, im Idle 110W.

    Da es die ein oder andere Optimierung im BIOS noch gibt, kann ich den Verbrauch sicherlich drücken.

    Die Festplatten könnte man auch noch in einen Standby schicken, wenn man das wollte - so viel verbrauchen die Platten allerdings nicht...


    In Summe neuer Server für 750€.


    yabs:


  • Unraid auf nen USB Stick und ran an den Server. Unraid ist darauf optimiert, die Platten möglichst lange und viel schlafen zu lassen. Damit kannst Du den Verbrauch deutlichst drücken.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

  • Unraid auf nen USB Stick und ran an den Server. Unraid ist darauf optimiert, die Platten möglichst lange und viel schlafen zu lassen. Damit kannst Du den Verbrauch deutlichst drücken.

    Habe ich bei mir versucht, die Performance von unraid war leider unterirdisch.

    Wenn der Cache voll ist oder direkt von HDD gelesen wird sind es schnell magere 20-40 Mb/s.

    Dazu war ca 1/4 der docker container auf der aktuellen Version nicht oder nur mit viel Arbeit lauffähig.


    Habe am Ende einfach Debian Full encrypted auf raid 1 SSD‘s gelegt und proxmox installier. Unwichtige Dinge laufen von der NVME und werden regelmäßig ins Backup geschoben und haben Mount Points auf dem Hauptsystem.

    Das läuft richtig gut.

  • Wenn der Cache voll ist oder direkt von HDD gelesen wird sind es schnell magere 20-40 Mb/s.

    Ich kenn da eher 80 Mbytes/s oder mehr. Der Mover sollte so eingestellt werden, dass er bei einem Ladestand (vor voll) auf das Array verschiebt (idealerweise in der Nacht). Zudem sollte er ausreichend groß sein, bei mir sind das 2 TB NVMe SSDs im Raid1.


    Dazu war ca 1/4 der docker container auf der aktuellen Version nicht oder nur mit viel Arbeit lauffähig.

    Hm, eigentlich keine Probleme. Ich finde die Docker Implementation sogar relativ gut für eine Enduser-GUI Angelegenheit.


    Habe am Ende einfach Debian Full encrypted auf raid 1 SSD‘s gelegt und proxmox installier. Unwichtige Dinge laufen von der NVME und werden regelmäßig ins Backup geschoben und haben Mount Points auf dem Hauptsystem.

    Das läuft richtig gut.

    Joa, kann man auch machen, der Vorteil ist imho bei Unraid das Nicht-Raid, das Redundanz ermöglicht und trotzdem nur eine Platte aufwachen lassen muss, mit allen Vor- und Nachteilen (Single Festplattenperformance).

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)

  • Joa, kann man auch machen, der Vorteil ist imho bei Unraid das Nicht-Raid, das Redundanz ermöglicht und trotzdem nur eine Platte aufwachen lassen muss, mit allen Vor- und Nachteilen (Single Festplattenperformance).

    stimmt.

    Das war der Punkt an dem ich mir eingestehen musste, dass ich eigentlich garnicht auf RAID verzichten will.

    Somit war unraid für mich nicht das richtige.

  • Alles klar. Versteh ich. Bei mir schlafen jetzt nach Parity Check am Monatsanfang wieder alle Platten, dadurch deutliche Reduktion des Stromverbrauchs auf ca 1/3.

    RS Ostern L OST22 (~RS "3000" G9.5) (8C,24GB,960GB) | RS Cyber Quack (1C,2GB,40GB)