Welcher Server für Datenverarbeitung um 30€ / Monat?

  • Hallo

    Für ein Forschungsprojekt möchte ich eine grössere Menge an Daten verarbeiten.

    Anwendungsfälle beinhalten u.a.:

    - Bis zu 10GB gleichzeitig in einen Pandas dataframe laden und single-core verarbeiten

    - Speicherung und Abruf einer grösseren Datenmenge in PostgreSQL (bis zu 100GB)

    - Geocoding mit Nominatim

    - Berechnung von Regressionsmodellen und (einfachen) Machine Learning Modellen

    Insgesamt deutet es für mich darauf hin, dass ich viel schnellen Speicher brauche, also besser NVMe und möglichst viel RAM.

    Infrage kommen also der RS 4000 G11 oder der VPS 8000 ARM G11. Letzterer hätte für das Geld den doppelten RAM, ist aber natürlich ARM statt x86.

    Theoretisch bliebe noch der VPS 6000 G11, der ja keinen NVMe Speicher hat.

    Welchen Kompromiss (RAM, NVMe oder ARM) sollte ich bei meinen Anwendungen am ehesten eingehen?

  • Aus Erfahrung: Bei CPU-lastigen Anwendungen (hier: ausgelastete Build-Server) merkt man einen deutlichen Unterschied zwischen einem dedizierten einzelnen Epyc-Kern (amd64/x86_64) und einem geteilten/überbuchten Altra-Kern (arm64/aarch64) bei der G11.

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE

  • Die Entscheidung kann ich dir nicht abnehmen, aber vielleicht ein paar allgemeine Bemerkungen. Es kommt darauf an, wo bei deiner konkreten Anwendung am Ende der Flaschenhals ist. Du erwartest ihn offensichtlich entweder beim RAM oder bei der File-IO, also CPU unproblematisch.

    Wenn du nicht weisst ob RAM oder File-IO am Ende der Flaschenhals sein wird, ...

    Ist es fehlendes RAM, dann wird das m.E. wesentlich bitterer als wenn es die IO ist. RAM fehlt im Zweifel halt einfach und das System fängt an (heftig!) zu swappen.

    Ist es die etwas langsamere IO, dann dauert die Verarbeitung halt etwas länger, aber nach meiner Einschätzung nicht so dramatisch viel länger als wenn die Kiste die ganze Zeit nur am swappen ist. Zudem ist fraglich, ob die IO zwischen RS, VPS x86 und VPS ARM wirklich dem Unterschied von NVME und SATA entspricht. Keine der drei Varianten wird unmittelbar auf die Hardware zugreifen und keine wird das volle Potenzial der Hardware ausschöpfen können, ist ja alles virtualisiert und vermutlich auf einen Sollwert gedrosselt oder schlicht durch die aktuelle Auslastung des KVM-Hosts begrenzt. Außerdem wüsste ich jetzt auch nicht definitiv, ob tatsächlich ausgerechnet die VPS x86 kein NVME haben und die VPS ARM aber schon. Ich stelle unten mal die brandaktuellen Ergebnisse der fio Tests von YABS eines VPS 1000 G11 und eines VPS 1000 ARM G11 rein, beide erstellt vor weniger als einem Monat. Du darfst dir aussuchen, welcher welcher ist und welcher NVME hat und welcher nicht ;)

  • Nur zur Klarstellung: Mit "erstellt vor weniger als einem Monat meine ich die Server, nicht die Tests. Die sind beide heute Vormittag durchgeführt worden, mehr oder weniger gleichzeitig. Ich löse mal die Frage ;) , der erste Test ist der VPS x86. Soviel zum Thema NVME.

    Der ARM hatte wohl einen schlechten Zeitpunkt erwischt, er hat mittlerweile einige bessere Ergebnisse, bei 4k zeitweise sogar etwas bessere Werte gebracht als der x86 (163 MB/s bei 4k, jeweils read und write). Gerade eben allerdings auch mal wieder einen unterirdischen Wert (10 MB/s bei 4k, jeweils read und write). Die Schwankung ist also auch beträchtlich. Aber bei den anderen Blockgrößen ist der x86 immer besser. Auch für die hier in Frage stehende Anwendung werden die zusätzlichen Cores des ARM nicht viel bringen, wenn es wirklich hauptsächlich um Single Core geht. Da schenken sich meine beiden Server nichts.

  • Mit gleichen Leistungen und 1 Monat Vertragslaufzeit wäre der ARM ja bei gleicher RAM-Grösse 10€ billiger oder ich hätte 64GB statt 48GB. Das wäre dann wahrscheinlich die wichtigste Zielgrösse? Oder ist der Single-Core Speed beim x86 doch besser für Python Operationen?

  • Ich würde an deiner Stelle nach den verbauten CPU's schauen und wie viel Leistung ein echter Core hat.
    Dann danach gehen.

    die vCPU haben wohl alle 2 GHz eingestellt.

    Alternativ könnte man beim großen roten H in der Börse nach einer flotten Single-Core suchen.

  • Single Core wird hier bei netcup wohl ein RS G11 der performanteste Server sein, egal welcher, sonst liefe irgendwas ziemlich schief. Auch bei der IO sollte er sicher nicht schlechter sein als ein VPS, bliebe eben wieviel du ausgeben willst oder kannst und wieviel RAM du tatsächlich brauchst. Brauchst du 32 GB und zahlst für 64 ist es ärgerlich. Ist es andersrum, wird es halt nicht funktionieren. Wenn du ein reguläres Angebot (kein Aktionsserver) nimmst, ist meines Wissens notfalls aber auch jederzeit ein Upgrade innerhalb einer Produktfamilie möglich. Für RS gibt es auch noch eine Zufriedenheitsgarantie.

  • Neu erstellte Beiträge unterliegen der Moderation und werden erst sichtbar, wenn sie durch einen Moderator geprüft und freigeschaltet wurden.

    Die letzte Antwort auf dieses Thema liegt mehr als 365 Tage zurück. Das Thema ist womöglich bereits veraltet. Bitte erstellen Sie ggf. ein neues Thema.

    • :)
    • :(
    • ;)
    • :P
    • ^^
    • :D
    • ;(
    • X(
    • :*
    • :|
    • 8o
    • =O
    • <X
    • ||
    • :/
    • :S
    • X/
    • 8)
    • ?(
    • :huh:
    • :rolleyes:
    • :love:
    • :pinch:
    • 8|
    • :cursing:
    • :wacko:
    • :thumbdown:
    • :thumbup:
    • :sleeping:
    • :whistling:
    • :evil:
    • :saint:
    • <3
    • :!:
    • :?:
    Maximale Anzahl an Dateianhängen: 10
    Maximale Dateigröße: 1 MB
    Erlaubte Dateiendungen: bmp, gif, jpeg, jpg, pdf, png, txt, zip