Beiträge von Skulduggery

  • Das längste Thema

    Ich möchte ein kurzes Update zu meinem OpenSource Rechenzentrumsprojekt nachreichen.


    Das 10 Gbit Backbone wird vorerst nicht kommen, stattdessen werden die Server direkt Point-to-Point mit 40Gbit Infiniband angebunden.
    Gründe dafür sind:

    • 40Gbit Infiniband Dualport Karten und auch Switche sind wesentlich preiswerter
    • Infiniband bietet unter Ceph die möglichkeit von Remote Direct Memory Access (<supa fast)
    • Infiniband ist exterm Flexibel, man kann RDMA und IPoIB parallel betreiben

    Gerade die Möglichkeit Ceph mit RDMA anstatt von TCP zu synchronisieren ist schon echt sexy. Noch dazu parallel ein, zwei oder paar Netzwerkverbindungen drauf legen zu können ist noch mehr sexy. Damit kann ich super Preiswert 40Gbit haben und unter Ceph zumindest von einem schönen Performance Zuwachs profitieren. Momentan fantasiere ich mit 500k IOPS und etwa 3-4GB/s an Durchsatz die am Ende rausfallen sollten.


    Weiterführende Links:

    https://en.wikipedia.org/wiki/InfiniBand

    https://en.wikipedia.org/wiki/Remote_direct_memory_access

    https://access.redhat.com/docu…iniBand_and_RDMA_Networks

    https://www.redhat.com/cms/man…rchitecture-201610-en.pdf

    https://de.slideshare.net/somnathroy7568/ceph-on-rdma

  • Das längste Thema


    Noch am Rande, die 600 war jetzt nur eine Fiktive Platten Anzahl, wollte mich da jetzt nicht fest fahren. Wollte beinahe schon schreiben das 3,5" Platten eigentlich Platzverschwendung ist, aber Supermicro bietet tatsächlich 72 Plattengehäuse auf 4HE an mit Front und Rear Loader, was bedeutet das du mindestens 10 von denen in ein Rack bekommst was 720 Platten in einem Rack entspricht. Mit 720 Spindeln kannst du es richtig krachen lassen und wenn du gleich an Silizium Speicher denkst, weißt du auf jeden Fall das 10 GBit hier schon maximal unterdemensioniert ist. Ich würde sagen 100GBit ist hier im Overlay schon minimum. 720 / 3 * 1862GB = Hochverfügbar 446 TB auf 48 HE, würde ich durchaus gerne mal bauen um zu sehen was da alles so schief gehen kann. Bei sowas würde ich auch erst garnicht auf Datacenter SSDs gehen, weil mir 240 Platten weg fliegen können bevor es auch nur im Ansatz kritisch wird. Allein der IOP und Durchsatz bei 720 SSDs im Verbund wäre denke ich schon richtig krass.

  • Das längste Thema

    H6G schrieb:

    Klingt interessant. Gibt es da etwas zu lesen?

    Das ist eine sehr gute Frage, die Gedanken hierzu sind auf jeden Fall da. Es soll dazu dienen mal zu zeigen was mit OpenSource alles möglich ist und es nicht zwangsweise eine Infrastruktur auf Basis von VMware, NetApp, Cisco und co. erfordert um Erfolgreich zu sein. Kurz gesagt für mich und meine Kollegen ist es eine Spielwiese für alles mögliche und für aussenstehende soll es eine Art "OpenSource Machbarkeitsstudie" werden. Durchaus mit einer kritischen Betrachtung anderer Faktoren wie Wirtschaftlichkeit und Ressourcen Aufwand für sowohl die Umsetzung als auch den Betrieb.


    Wie schon oben erwähnt sind da ein, zwei Leute mehr darin involviert. Deswegen muss ich dass da auch erst mal in Trockene Tücher bringen, ob und falls ja wie man es machen möchte. Meinerseits kann es durchaus passieren das man mich mit einem Vortrag auf OpenSource Konferenzen später "erwischen" kann. Ansonsten wäre die billigste Lösung ein Blog nur sehe ich da ehr die Gefahr das der irgendwann einschläft.

  • Das längste Thema

    julian-w schrieb:

    Oh wusste gar nicht das der Linux-Installer diese Größen anzeigt, benutze den wohl zu selten =O Vor allem df, vgdisplay und Konsorten verwenden ja wieder die "richtigen" Größen, keine Ahnung wer auf diese "sinnvoll Idee" kam diese Einheit im Installer zu verwenden... :wacko:


    Aber ich fürchte aus meinem GlusterFS-Test-Cluster wird erst einmal nichts, ich glaube beide VPS Plus Server sind auf dem gleichen Wirt gelandet, was das ganze ja absurd wirken lässt (und keine reale Performance wiederspiegelt) ^^

    Ich glaube kaum das die netcup Wirtsysteme mit über 20 GBits angebunden sind :/

    Warum soll das nicht der Fall sein? Wäre traurig wenn da nur zwei Gbit Interfaces 20 Maschinen ins Netz bringen, migration abwickeln und haste nicht gesehen.

    Selbst das Interne Backbone auf meiner Spielwiese wird mit 2 x 10Gbit pro Node ausgelegt sein, alles darunter wäre viel zu langsam für ceph und haste nicht gesehen. Wobei meine Spielwiese sowieso weit von normal entfernt ist, wenn man die Sicht auf ein reines "Home"-Lab beschränkt sprich Private Nutzung.


    Ich werde aber auch nie verstehen warum Netcup so verbissen auf diese Lokale Storage Geschichte setzt. Klar lokaler I/O ist immer noch der beste aber auch nicht unbedingt der flexibelste. Ich wage zu behaupten, mit einem 600 Platten Array bisschen Arbeitsspeicher und vielen 10GBit verbindungen, lässt es sich mehr und flexibler krachen. Ich lass mich da aber gerne bei einer Führung eines besseren belehren.

  • Meine Domain mit dem vServer verknüpfen

    MarcelloW schrieb:

    All diese Dinge die du hier fragst lassen sich doch ganz einfach durch ein wenig Google und ausprobieren lösen.


    Wenn ich schon lese was deine Argumentation bzgl. SSH-Pubkey ist, verdrehts mir den Magen.


    Wäre es nicht sinnvoller ein Webhosting Paket zu buchen?

    ---Offtopic

    Da musste ich mal wieder schmunzeln...


    Naja wir können ja den Thread dann schließen wenn Stackoverflow kuhler ist! Er wird eh nicht auf uns hören, bezüglich des Webhostings, bis er mit seinen Server auf die Nase fällt. Ich hab eigentlich kein Interesse mehr an dem Thread, aber ja... man sieht das Ergebnis.


    ---Beitrag
    Wenn wir schon Schwachsinn erwähnen würde ich dir raten, mich mal darüber zu informieren, wie man so einen SSH-Server konfigurieren kann. SSH-Key ist absoluter 0815 Security shit und wenn du da schon von der Komfortzone träumst (Naja gut wenn man halt keinen Plan hat.) das du dich bequem von überall aus verbinden willst. Lass es bleiben!

  • Meine Domain mit dem vServer verknüpfen

    Ich würde mich normalerweise nicht nochmal äußern, aber ich helfe sehr gernen Leuten in diesem Forum mit ihren Problem. Wenn es meine Zeit und Lust erlaubt.

    Jedoch muss du verstehen das meine Hilfe mit zwei ganz einfache Voraussetzung in Verbinung stehen:

    1. Ich habe einen Plan was ich erreichen möchte, aber nicht zwangsweise eine Vorstellung zur Umsetzung, um mein Ziel zu erreichen.
    2. Ich bin der Lage mich unter Linux zu bewegen und weiß im ungefähren was ich da gerade mache. (Das ist der eigentlich viel wichtigere Punkt).

    So natürlich kann ich jetzt nicht deine Fingerfertigkeiten beurteilen, da gebe ich dir vollkommen recht. Jedoch bin ich mir in Punkt 1. ganz Sicher das du diesen Plan nicht hast. Wir diskutieren über 10 Einträge lang was das Betriebssystem werden soll. Da werden dir Vorschläge gebracht die Teilweise auch gut untermauert werden und im nächsten Eintrag ändert sich deine Windrichtung komplett (Debian <> Fedora). Wenn du Fedora nun mal kennst, verwendest du auf deinem Server am Besten CentOS. Warum rate ich dir dazu? Ganz einfach weil CentOS auf stabilität und langzeit Pfelge setzt und sich wie Fedora in der Bedienung weitestgehend verhält.


    Nimm es mir nicht böse, aber ich helfe wirklich gerne. Nur ohne Basis endet das hier wie die meisten Threads dieser Art in Chaos. Wenn du merkst das diese Basis (Bedingungen) nicht vorhanden ist, sollte es dir bereits zu denken geben ob mein Vorhaben überhaupt so realisierbar ist. Das ist alles wirklich nur nett gemeint, jeder der hier Erfahrung hat, weiß wie schmerzhaft und teuer es ist, Wissen in der IT aufzubauen. Deshalb versucht man auch durch eine Art Selbstschutz die Leute davon abzuhalten, etwas dummes zu machen, oder versucht gleich ihnen die Frustration zu ersparen...

  • Storagespace als ausfallsichere Lösung?

    Du willst ne Datenbank auf ein Shared Storage schmeissen wo du nix in der Hand hast, vermutlich schön brav mit NFS mountest und der Share sich jeder Zeit verabschieden kann, kuhle Sache!


    Aus Erfahrung sage ich dir gleich, NFS ist für Datenbanken so absolut das schlechteste was man machen kann. Nen NFS share ist schon als Backup Ziel für XtraBackup eine absolute Katastrophe, weil keiner so wirklich sicherstellt, in der gesamten Kette, ob die Daten in erste Linie überhaupt schon geschrieben wurden und wie es um deren Konsitent steht.


    Datenbanken legst du bitte immer auf die lokale Platte völlig frei von den Umständen, wenn du Verfügbarkeit möchtest bau dir nen Master-Slave bzw. nutze bereits in der Software implementierte Funktionen. Das ist um 99% besser als ne Datenbank auf NFS shared zu machen. Da kann es vermutlich auch passieren das Netcup dir irgendwann den Share wegknallt, weil du IOPs verbrätst jenseits von gut und böse.


    Offtopic am Rande:

    Sofern ich mich nicht falsch erinnere hat Netcup ne NetApp im Einsatz das bedeutet das Ding ist 24/7 am laufen. Die Teile haben nicht mal eine Power-Taste und wenn die es mit DataOntap Clustered am laufen haben können die den Stuhl on the fly updaten.

  • Das längste Thema

    Naja die Coding diskussion ist recht schnell erledigt meiner Seits, weil am Ende entscheidet die Qualität und der Anteil an schwarzer Magie im Complier wie schnell dein Code nun ist, völlig unabhängig wie viele Kommentare, falsch deklarationen und hast du nicht gesehen drin ist. Natürlich gibt es da noch die ein oder andere Tücke das man sich ab und zu für teurere Lösungen entscheidet als einfache vergleiche zu nutzen. Wobei ich da bei SQL auch schon ab und an des besseren belehrt wurde gerade bei Verknüpfungen und Indexen. Naja lasset die Spiele beginnen...


    Bei modernen Autos steige ich aus, so cool sie auch sind, aber ich bleibe lieber bei der alten Schule mit einfachen simplen Navis, haltbaren Motoren und dem Charme den heute kaum noch ein Auto vor lauter Perfektion hat.


    Grüße

  • Meine Domain mit dem vServer verknüpfen

    H6G Was unser Tester meint ist ein aus der RedHat Welt bekannten GroupInstall den YUM und DNF anbieten. Beispiel hierür wäre:


    yum groupinstall „Development Tools“

    was equivalent zu

    apt install build-essential

    ist.


    Ich kann dir nicht sagen was die Gruppe „Webserver“ genau einbezieht, weil ich gerade keine Maschine vor mit habe, aber hier hast du nen ungefähren Überblick. Kann dir aber nicht garantieren obs noch state-of-the-art ist, nur gruselt es mich schon was das Ding alles mitschleift: https://www.sysarchitects.com/…m-groupinstall-web-server


    Um es kurz zu machen und ehrlich zu sein, was nun mal hart klingt, aber er weiß nicht zu 100% was er tut. Man kann Tipps abgeben aber jeder “10 Linux comparison guide“ und jede GroupInstall ist eine bessere Anlaufstelle als Erfahrene teils Hauptberuflich arbeitende Linuxnutzer. Ich bin für meinen Teil raus hier bevor ich unheil anrichte.

  • Das längste Thema

    Was machst du den genau wenn deine Programmiersprache einen Syntax vorgibt, der das verbraten der Zeilen nun mal vorsieht? Zu mal meiner Feststellung nach es total Sinnfrei ist alles in einer Zeile zu programmieren, weil am Ende du der jenige bist der den Überblick verliert. Schneller wird der Code dadurch definitv auch nicht ich mein, wenn du dein Navi aus dem Auto schmeisst hast du auch keine 30PS gewonnen, sondern die Orientierung "im best Fall" verloren.

  • Meine Domain mit dem vServer verknüpfen

    Ich verstehe ab und an echt nicht was daran so geil oder notwendig ist sich direkt einen Öffentlichen Server zu mieten. Wenn ich etwas ausprobiere, oder mit etwas spielen möchte, dann ist mein lokaler Computer die Adresse die ich aufrufe. Der lässt sich super einfach zu etwas umfunktionieren was wie in Echt funktioniert, aber tatsächlich nur Intern existiert. Da kannst du nix kaputt machen, und keiner kann dich kaputt machen.



    Wenn du schon sagst das du darauf entwickeln möchtest, wirst du mit großer wahrscheinlichkeit etwas basteln. Das wird nicht auf anhieb funktioniert und einfach liegen gelassen was super scheisse ist, auf einem Öffentlichen Server. Hol dir doch einfach ein Webspace das alle Sprachen supportet und sperr die Seite/vHost wenn du fertig mit Spielen bist. Kostet weniger Geld und lässt sich mit geringen Aufwand verwalten.

  • Meine Domain mit dem vServer verknüpfen

    CmdrXay schrieb:



    zuerst einmal solltest Du in /etc/apache2/ diverse Konfigurationsdateien finden, wo Du den Standardhost und die vhosts einstellen kannst.

    CentOS/RedHat/Oracle Linux haben httpd als Namen in Verwendung für Apache2. Zu mal Konfiguration wie vhost nicht unter /etc/httpd sondern /etc/httpd/conf.d abgelegt werden das kann man, aber natürlich sein Belieben nach anders Hand haben.

  • Post Mortem

    Blöde frage in die Runde, was macht den Aufwand gerecht das der Blog nach dem Tod weiter lebt? Im best Fall kündigt der Erbe das Abo sofort oder sobald wie möglich, weil kein weiterer Mensch außer seine eigene Wenigkeit einen Sinn im fortbestehen sieht.


    Naja gut gibt ja Menschen die sich einfrieren lassen um an das ewige Leben zu kommen, das könnte jetzt meine Fragestellung verblassen lassen.

  • Das längste Thema

    Darf ich fragen was der Reiz daran ist ceph mit virtuellen Maschinen zu bauen? Grundlegen ist die Software nicht dafür gebaut und gedacht virtuell betrieben zu werden. ceph lebt von allen möglichen Faktoren um schnell zu sein z.B. Flotte CPUs, viele Spindeln, direkte Anbindung der Datenträger. Das sind alles Sachen die dir eine Virtuelle Maschine schon Natur bedingt nicht (zwangsweise) bieten kann. Natürlich kannst du das mit Virtuellen Maschinen bauen, die einzige Skalierung die diese Art kennt, nennt sich mehr Maschinen hinzufügen > kosten intensiv und Verschwendung von Ressourcen. Du benötigst schon alleine mindestens drei Maschinen um die Anforderungen erfüllen zu können. Hierbei stellt man nun schnell fest, dass wenn eine Maschine weg ist, die Konsistenz der Daten bereits gefährdet ist. Bedeutet ich brauche mindestens fünf Maschinen (Cluster sollten immer Ungerade gebaut werden) um ceph anständig betreiben zu können. Nun habe ich fünf Knoten und jeder hat 1,5TB Storage das sich OS und ceph teilen, wunderbar beide laden ihren I/O auf das ein und selbe bereits virtualisiertes Medium ab > *kopf schüttel*. Hier haben wir schon zwei weitere Problemfaktoren: OS und ceph wollen des öfteren gleichzeitg schreiben was wir theoretisch beeinflussen können. Problem nummero zwei unsere Daten schreiben nicht wir auf den Physikalischen Datenträger sondern unser Wirt-System. Dass bedeutet wir haben selbst mit der Beeinflussung, wer wie viel I/O schreiben darf nix gewonnen, weil unser Wirt immer noch voll und ganz beeinflussen kann wann und wie unsere Daten auf die Platten kommen. Selbst hier reicht das Wirt-System seine Daten nur an den RAID-Controller weiter. Der RAID-Controller und sein Array sind somit schon Faktisch das schwächste Glied in der ganzen Kette, die dieses Vorhaben total vermiesen können und du kannst nichts dagegen machen. Noch dazu müsste man immer sicherstellen das alle ceph Naschinen nicht mal im Ansatz die möglichkeit haben auf dem selben Wirt zu landen.


    Das soll jetzt keinen davon abhalten sowas zu machen bzw. auszuprobieren. Das hier stellt nur eine Mischung aus Fakten und meiner logischen Betrachtung des ganzen dar. Man merkt halt an Hand der paar Zeilen das es genug Faktoren gibt, die man einfach aus Prinzip nicht selbst beeinflussen.


    Grüße

  • Das längste Thema

    mfnalex schrieb:

    Hostet von euch jemand Minecraft Java Edition auf nem VPS/Root? Wenn ja: macht ihr das über screen/systemd oder ähnliches? Ich bastel im Moment eine Art Minecraft Server-Launcher + Konfigurations-GUI mit bash, dialog und screen und suche ein paar Leute zum Testen :)

    Es ist keinerlei Magie komplett fragile Konstrukte zu bauen, die für seine eigenen Anwendungszwecke passen. Daher meine Frage: Wer und Warum soll das verwenden, was macht dich besser als Multicraft? Wo finde ich den Source Code, wer maintain das wenn deinen "Testphase" vorbei ist?

  • Das längste Thema

    Cictani schrieb:

    Erkläre mir doch dann mal, wie Du die Backups machen würdest, wenn Du nur den Storge Space hast, den Du nur über nfs einbinden kannst. Wie führst Du da regelmäßig automatisiert Backups aus?

    Wenn ich mich einmischen darf, die Antwort lautet garnicht. Nicht desto trotz ist es völlig hinfällig Backup ist eine Thematik in der so viele Faktoren einfliesen das es beinahe für jedes Objekt einzeln betrachtet werden muss. Du musst erstmal Wissen was möchtest du sichern, welche Software möchte ich nutzen, wohin möchte ich es sichern, wie muss ich es dahin sichern und und und... Zu mal NFS ansich für Backup absolut ungeeignet ist wenn du es nicht zwangsweise mit sync Flag mountest. Machst du es nicht kannst du Backups wie xtrabackup direkt in die Tonne treten. Nur willst du sowas wie xtrabackup nicht in die Tonne treten...